• 我的订阅
  • 头条热搜
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
黄仁勋:我从不在乎市场份额、英伟达唯一目标是创造新市场
...英伟达,老黄还讨论了AGI的智能扩展、机器学习的加速、推理与训练的重要性……虽然时长感人(近1个半小时),但一大波网友已经看完并交起了作业(开始卷了是吧!)网友:学起来!学起来! 黄仁勋:未来推理的增长将远...……更多
港中文团队提出大模型元推理范式,革新大模型的评价体系
...一定启示。日前,相关论文以《大型语言模型评价中的元推理革命》(MR-GSM8K: A Meta-Reasoning Revolution in Large Language Model Evaluation)为题发在 arXiv,曾忠燊是第一作者,香港中文大学教授贾佳亚担任通讯作者 [1]。图……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ESM3。模型开发团队来自于名为...……更多
联想王传东:2027年AI PC将成为市场主流
...下也能使用;第三,更低的大模型使用成本,以本地免费推理为主、以云端公共推理为辅,一次性购买AIPC即可享受全生命周期的本地免费推理服务;第四,可信、安全的个人数据和隐私保障,个性化本地知识库、隐私数据的本...……更多
英特尔以全新软硬件助力千行百业释放AI潜能
...此外,据最新消息,GraniteRapids在运行80亿参数的Llama3模型推理时,延迟比第四代英特尔至强处理器表现出两倍的提升,并且能够以低于100毫秒的token延迟运行700亿参数的Llama3模型推理。 携手生态合作伙伴助力数智变革现如今,...……更多
三星galaxys24系列全系搭载骁龙8移动平台
...的核心——高通HexagonNPU,增强的高通HexagonNPU让生成式AI推理速度更快,相比前代的推理速度快98%,且能效提升40%。最新的HexagonNPU还集成了微架构升级、增强的微切片推理、更低的内存带宽占用,以及可实现最优性能和能效的专...……更多
GPT刚刚公开「草莓」项目:推理能力翻倍,定价200美元?
... OpenAI 在大语言模型领域的新尝试,也可能是对人工智能推理能力一次新的革命性提升。根据目前流出的信息来看,相比以往的 GPT 模型,「草莓」在处理复杂问题、执行多步骤任务方面展现出前所未有的潜力,使其成为通用人...……更多
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...M) 是如何解数学题的?是通过模板记忆,还是真的学会了推理思维?模型的心算过程是怎样的?能学会怎样的推理技能?与人类相同,还是超越了人类?只学一种类型的数学题,是会对通用智能的发展产生帮助?LLM 为什么会犯...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
首个o1复现开源RL框架OpenR来了,UCL、上交等高校联合团队发布
...湖大学工学院助理教授(研究)杨林易。o1 作为 OpenAI 在推理领域的最新模型,大幅度提升了 GPT-4o 在推理任务上的表现,甚至超过了平均人类水平。o1 背后的技术到底是什么?OpenAI 技术报告中所强调的强化学习和推断阶段的 Sca...……更多
谷歌最新自然语言推理算法
谷歌发布全新反向推理算法LAMBADA,无惧搜索空间爆炸!自动推理绝对算是自然语言处理领域的一大难题,模型需要根据给定的前提和知识推导出有效且正确的结论。尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...算力是上一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台409...……更多
手机上能跑的「GPT-4V」来啦!多图、视频理解首次上端!面壁小钢炮开源史上最强端侧多模态
...类模型低 75%。端侧友好:量化后端侧内存仅占 6 GB;端侧推理速度高达 18 tokens/s,相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理;且支持多种语言。统一高清框架,高效能力一拖三:小钢炮的传统优势 OCR 能力延...……更多
大模型重构生命科学!最大基础模型面世,解锁DNA超长序列
...,从跨模态预训练、到下游任务的微调都可以完成。而在推理端,他们为该领域量身定制地打造了生物与AI融合的计算引擎。这个值得说道说道。因为在我们日常大模型语境中,可能只需要针对AI模型本身进行推理优化,就能在...……更多
MWC 2024速递丨押宝AI,产业巨头激战未来
...大挑战:算力供给瓶颈、严肃场景中的差错、聚焦训练但推理不足以及商业闭环的挑战。 徐子阳提出,需从多方面实现AI技术进阶,包括突破技术瓶颈,加强架构、算法、算网和软硬件协同优化研究,以提升AI训练和推理效率...……更多
李彦宏发布文心大模型4.0工具版,推理成本降到1%
...练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了105倍,推理的成本降到了原来的1%。“也就是说,客户原来一天调用1万次,同样成本之下,现在一天可以调用100万次。”此外,李彦宏在演讲中分享了百度...……更多
英伟达发布Llama-3.1-Nemotron-51B AI 模型
...型,Llama-3.1-Nemotron-51B 在保持了几乎相同的精度情况下,推理速度提高了 2.2 倍。准确率能效MT BenchMMLUText generation(128/1024)Summarization/ RAG (2048/128)Llama-3……更多
研究人员给了人工智能一个“内心独白”,结果大大提高了其性能
...工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。这种方法训练的人工智能系统,会在对提示做出...……更多
英伟达SC24六大技术亮点,不止加速超算500强
...快数据处理的cuPyNumeric、生物医药开源框架BioNeMo、新材料推理器NVIDIA ALCHEMI NIM微服务、气候预测平台Earth-2 NIM、CUDA-Q平台以及实现数字孪生的Omniverse Blueprint,为学术界和产业界提供更多支持,推动量子计算、药物发现以及新材……更多
PC正在经历AI时代 下一代Windows 12将是AI PC的完美载体
...态下也能使用;第三,降低大模型使用成本,在本地免费推理为主,云端公共推理为辅的情况下,一次购买AI PC即可享受全生命周期的本地免费推理服务;第四,提供可信、安全的个人数据和隐私保障,包括个性化本地知识库、...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
新智元报道编辑:乔杨【新智元导读】LLM的数学推理能力缺陷得到了很多研究的关注,但最近浙大、中科院等机构的学者们提出,先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种...……更多
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决...……更多
...能计算等;在AI服务器领域,联想从训练到训推一体再到推理的AI全场景都有完善的AI服务器产品矩阵。在设备之上,联想研发了在构筑智算中心时的关键模块——异构智算平台。同时,联想与国内外领先的AI算力生态企业广泛合...……更多
AI大模型应用商机:“AI+”还是“+AI”
...带来了更大的泛化能力,可实时对音频、视觉和文本进行推理,标志着AI大模型应用向更自然的人机交互持续迈进。GPT-4o的推出进一步推动了AI应用的繁荣,以AI大模型主导的创新应用前景也有望打开新的想象空间。对不同企业来...……更多
剧本推理游戏需要几个人才能玩
一般来说,剧本推理游戏最少是需要4个人才能玩的,但是如果要想有更好的体验感,最好还是要有5~8个人一起玩比较好,一般用时2~3个小时。知识讲解什么是剧本推理游戏?所谓的剧本推理游戏也称呼为“谋杀之谜”游戏,是...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
...发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根据给定的prompt难度,动态地分配测试时(Test-Time)的计算资源。结果发现这种方法在一些情况下比单纯扩展模型参数更经济有效。换句话说...……更多
更多关于科技的资讯:
中兴/努比亚手机国补正式上线:至高立减400元
快科技1月11日消息,官方已经明确,2025年的国补将加入手机、平板、智能手表手环等3类数码产品。不过在价格上有一定限制
2025-01-11 10:21:00
华为智能汽车解决方案BU CEO谈特斯拉中国卖得好:销量来自创新 靠抄袭做不了行业领导者
快科技1月11日消息,日前,特斯拉焕新Model Y正式上线中国官网。官方对新Model Y相当自信,放话“尽管对比”
2025-01-11 10:21:00
1月7日,中国太保旗下太平洋健康险主办的“珊瑚守护 失能有助”——珊瑚1号·失能收入损失险(简称珊瑚1号)新品发布会在2025分子保险科技节举行
2025-01-11 10:27:00
深圳小学数学试卷难上热搜:有家长85分钟才做完 网友直呼不可思议
1月11日消息,近日深圳南山区小学数学期末考试登上了热搜,因为真的是太难了。因题目过难,阅读量过大,不仅是四年级,参加数学考试的多个年级都出现了延时情况
2025-01-11 10:51:00
司机都下岗的节奏!黄仁勋:未来汽车将全自动驾驶
快科技1月11日消息,对于司机这个岗位来说,以后可能都有没有必要存在了。英伟达CEO黄仁勋在CES展会上表示,到20年后所有汽车都将具备自动驾驶功能
2025-01-11 07:51:00
传《光环》登陆Switch 2
播客节目NateTheHate透露说,微软正将昔日独占作品引入任天堂平台,大力支持即将发布的Switch 2——今年要面向PS5与Switch 2发布《微软飞行模拟》与《光环
2025-01-11 07:51:00
i3默秒全再也看不到了!AMD:Intel如今的CPU太差劲 导致我们不愁卖
快科技1月11日消息,十年河东,十年河西。科技市场风云变幻,谁又能想到,曾经的“i3默秒全”早已不在,变成了X3D“大杀四方”
2025-01-11 07:51:00
赠退货宝:基达5A加绒保暖内衣套装59.9元大促
基达5A加绒保暖内衣套装日常售价99.9元,今日领取40元优惠券,到手价59.9元。男款有藏青、黑灰、浅灰、摩卡棕,四种颜色可选
2025-01-11 08:21:00
礼袋包装:翠春园茗茶(金骏眉/大红袍/十年陈皮)礼盒5两58元大促
翠春园铁观音/金骏眉/大红袍/十年陈皮/正山小种200~300g官方标价358元,今日下单可领300元大额券+送礼袋,到手价58元
2025-01-11 08:21:00
科学家向下钻探近3公里:挖出南极120万年前远古冰核 探寻人类祖先更新世为何没灭绝
快科技1月11日消息,人类记录天气只有数千年历史,而南极冰层记录天气已有上百万年历史。最近,来自欧盟资助的Beyond EPICA——“最古老冰”项目团队的科学家们
2025-01-11 08:21:00
比去年增18%!苹果CEO库克年薪公布:至少能买6万台顶配iPhone 16
快科技1月11日消息,相比去年来说,苹果CEO库克的年薪又增加了。苹果公司当地时间1月10日披露的文件显示,公司CEO蒂姆·库克2024年薪酬达到7460万美元
2025-01-11 08:21:00
10日下午,“2025浙江网上年货节”启动仪式在杭州举行。1月7日至2月5日期间,活动将联合30多家主要电商平台、机构
2025-01-11 08:49:00
2024年,广大浙商在加快建设创新浙江、因地制宜发展新质生产力的征程上勇当先行者,在充满挑战的年份里点亮浙江经济的浩瀚星辰
2025-01-11 08:49:00
陈奕迅泰国演唱会取消引热议:官方称系安全考量 全额退款
1月11日,据@圣峰演艺 :自陈奕迅 FEAR and DREAMS 世界巡回演唱会举办曼谷站的消息公布以来,我们感受到了来自海内外歌迷朋友们的巨大热情
2025-01-11 08:51:00
本文转自:人民网-贵州频道近年来,工行六盘水分行以推动数字化转型为战略方向,通过多样化的场景金融服务布局,提升客户满意度
2025-01-11 09:04:00