• 我的订阅
  • 头条热搜
大模型是否有推理能力?DeepMind数月前的论文让AI社区吵起来了
...,随着 OpenAI o1 模型的推出,关于大型语言模型是否拥有推理能力的讨论又多了起来。比如苹果在前段时间的一篇论文中指出,只要给模型一些干扰,最聪明的模型也会犯最简单的错误(参见《给小学数学题加句「废话」,OpenAI ...……更多
语言≠思维,大模型学不了推理:一篇Nature让AI社区炸锅了
...到,人类大脑生成和解析语言的神经网络并不负责形式化推理,而且提出推理并不需要语言作为媒介。这篇论文声称「语言主要是用于交流的工具,而不是思考的工具,对于任何经过测试的思维形式都不是必需的」,引发了科技...……更多
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...M) 是如何解数学题的?是通过模板记忆,还是真的学会了推理思维?模型的心算过程是怎样的?能学会怎样的推理技能?与人类相同,还是超越了人类?只学一种类型的数学题,是会对通用智能的发展产生帮助?LLM 为什么会犯...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
...很多不同的GPU型号和显存大小。再加上,目前广泛应用于推理阶段的量化技术,比如可以用FP16或FP8精度,这会改变推理和训练/微调成本的比重。以上这些限制因素,都让模型规模的选择成为一个非常具有挑战性的问题。总体而...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...本质的不同。其不仅进入到复杂的领域,还表现出超强的推理能力。OpenAI 将 GPT-4o 和 o1 在国际数学奥林匹克竞赛资格考试方面进行对比测试。根据结果,二者差异显著,其中,前者正确解决问题的准确率是 13.4%,而 o1 的准确率...……更多
Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对
...科学家Denny Zhou拿出一篇ICLR 2024论文称:CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终,CoT会是通往AGI的正确路径吗?随着OpenAI o1的爆火,最近CoT也成了圈内热议的高频词。靠着CoT的强力加持,o1...……更多
百倍提升7B模型推理能力!颜水成团队携手新加坡南洋理工大学发布Q*算法
...-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力,使模型性能迎来惊人提升。自OpenAI的Q*项目曝光后,业内相关讨论始终层出不穷。据现有信息汇总,Q*项目被视作OpenAI在探索人工通用智能(Artificial General Intelli...……更多
港中文团队提出大模型元推理范式,革新大模型的评价体系
...一定启示。日前,相关论文以《大型语言模型评价中的元推理革命》(MR-GSM8K: A Meta-Reasoning Revolution in Large Language Model Evaluation)为题发在 arXiv,曾忠燊是第一作者,香港中文大学教授贾佳亚担任通讯作者 [1]。图……更多
昇思MindSpore 2.3全新发布
...级实现脚本、分布式策略,运行时的统一,Baichuan2-13B的推理部署只需1天。在大模型推理上,通过LLMServing实现推理吞吐提升2倍多;升级模型压缩工具金箍棒2.0实现千亿大模型压缩至十倍。 为降低开发门槛,昇思持续升级MindSpore...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
新智元报道编辑:乔杨【新智元导读】LLM的数学推理能力缺陷得到了很多研究的关注,但最近浙大、中科院等机构的学者们提出,先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种...……更多
击败GPT-4o的开源模型如何炼成?关于Llama 3.1 405B都写在论文里
...经远超计算最优的时长。结果表明,这些较小模型在相同推理预算下的表现优于计算最优模型。在后训练阶段,Meta 使用了 405B 的旗舰模型进一步提高了 70B 和 8B 模型这些较小模型的质量。3、为了支持 405B 模型的大规模生产推理...……更多
o1 基石论文火爆传阅:Ilya 仍是关键先生,核心项目清北校友闪光
...后的贡献者。Ilya 在 o1 的作用 OpenAI o1 主打进行通用复杂推理,在输出回答之前,会在产生一个很长的思维链,以此增强模型能力。而 Ilya 此前合著的这篇论文主要就是探讨了提高大语言模型多步推理能力的方法。他们主要比较...……更多
OpenAI 超强 o1 智商超 120 遥遥领先于其他模型:1 小时写出 NASA 博士 1 年代码,最新编程赛超越 99.8% 选手
...的 agent,是关键的一步。而这篇论文就重点研究了扩展「推理期计算」(inference-time computation)这个问题。研究团队分析了扩展测试时计算的两种主要机制:(1)针对密集的、基于过程的验证器奖励模型进行搜索;(2)根据测...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...交互能力的核心是模型能够直接在语音模态上进行理解和推理,这与传统的语音对话功能有本质的不同。现有的语音对话系统中主要包含 3 个过程:首先将输入语音内容转换为文本,其次利用大语言模型进行文本推理,最后利用...……更多
罗格斯大学团队提出思想链概念,提高大模型的算数推理能力
...概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。图 | 金明宇(来源:金明宇)CoT 的原理是通过提供推理过程的示例,来教会模型处理推理,详细说明导致最...……更多
...AI)系统在编码、战略规划和机器人科学三个领域执行复杂推理任务。聊天生成预训练转换器(ChatGPT)和“克劳德3-奥普斯”(Claude 3 Opus)等大语言模型(LLM),根据人类输入“提示词”处理和生成文本。研究人员说,过去18个月,这些技...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
...十亿左右。“做大”,能让大模型具备更强的涌现能力和推理能力,从而适用于难度更高的任务。“做小”,能让大模型获得更优秀的推理能力,从而能被部署到手机、手表、耳机、录音笔等各类小微终端之中。情景学习(ICL,...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...的长依赖任务中的多信息检索、时间重排序、计算、理解推理能力表现均不乐观。比如像Claude3-200k,GPT4-32k、GPT4-8k、GPT3.5-turbo-6k、LlamaIndex这种商业模型,平均只有40%的准确率。而像开源模型表现就更不理想了…ChatGLM2-6B、LongLL……更多
科学家推出大模型数据集,涵盖奥赛数学题,有望让AI辅导数学课程
...解决复杂数学问题的能力。通过此,他们不仅提高了算法推理速度,还提高了算法搜索中间结果的质量。所新推出的数据集 TriMaster100,也更加符合算法在复杂数学问题下的评价场景。目前,赵子龙的合作者正在基于本次成果开...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。用 LTM 数据提升模型能力,使其能够自我进化在传统 LLM 中,更新模型通常需要调整所有参数,而如果目的是处理个体数据,那这种操作明显不切实际。...……更多
苹果新论文证明LLM大模型存在缺陷!没有进行真正的逻辑推理
...tical Reasoning”的论文,揭示了大型语言模型(LLM)在数学推理方面的显著局限性。尽管这些模型在生成人类水平的文本方面表现出色,但当处理简单的数学问题时,即使问题仅进行了微小的改动,如添加无关信息,模型的表现也...……更多
姚期智院士大模型新研究:思维图DoT,用数学理论确保AI逻辑一致
姚期智院士领衔,推出大模型新推理框架,CoT“王冠”戴不住了。提出思维图(DiagramofThought),让大模型思考更像人类。团队更是为这种推理过程提供了数学基础,通过拓扑斯理论(Topos Theory)正式化(formalize)DoT,确保其逻...……更多
CMU清华教LLM练成数学高手,LeanSTaR训练模型边思考边证明,登顶新SOTA
...办?CMU清华团队提出了Lean-STaR训练框架,在语言模型进行推理的每一步中都植入CoT,提升了模型的定理证明能力,成为miniF2F上的新SOTA。如果想训练LLM证明定理的能力,你会怎么做?既然模型可以通过海量语料学会生成文本,那...……更多
首个o1复现开源RL框架OpenR来了,UCL、上交等高校联合团队发布
...湖大学工学院助理教授(研究)杨林易。o1 作为 OpenAI 在推理领域的最新模型,大幅度提升了 GPT-4o 在推理任务上的表现,甚至超过了平均人类水平。o1 背后的技术到底是什么?OpenAI 技术报告中所强调的强化学习和推断阶段的 Sca...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文一作为华人学者Tian...……更多
...语言模型之外的其他技术。例如,解决数学问题需要逻辑推理,而目前大多数AI模型都不擅长逻辑推理。鉴于此,谷歌深度思维公司开发出AlphaGeometr,将语言模型与符号引擎(使用符号和逻辑规则进行推理)相结合,构建出一种神...……更多
更多关于科技的资讯:
挑选一张印着“雪如意”图片的明信片,将旅程中所见所想写在上面,时间选在几年后寄出,收件人是自己……这个雪季,位于富龙滑雪场风铃乐谷商业街内的滑雪邮局成为崇礼新晋旅游打卡地
2025-01-10 09:28:00
增加车位到车位智驾等功能!小鹏预计1月底全量推送XOS 5.5.0
快科技1月10日消息,小鹏汽车宣布预计将于1月底全量推送XOS 5.5.0系统。新系统将实现从固定车位到固定车位的无缝衔接
2025-01-10 09:50:00
为什么大家越来越讨厌接电话了:侵入性特别强
快科技1月10日消息,随着科技的进步,人们的沟通方式也在不断变化,电话作为一种传统的沟通方式,其地位和使用频率大大受到影响
2025-01-10 09:50:00
百元入门机天花板卖爆!Redmi 14C今日补货开售:499元起
快科技1月10日消息,根据小米商城显示,Redmi 14C将于今天上午10点再次开售,售价499元起。该机在没有官方没有任何宣传的情况下全球爆火
2025-01-10 09:50:00
2025年01月10日环洋市场咨询机构出版了一份详细的、综合性的调研分析报告【全球住宅零转向割草机行业总体规模、主要厂商及IPO上市调研报告
2025-01-10 09:54:00
有效减重客户占比93.9%再创新高 绿瘦助力客户实现健康蜕变
在追求健康与美的道路上,雨洁不乏同行者。 “参加绿瘦减重后,成功达成体重管理目标,身体健康有了很大改善。”在谈到2024年最大的改变时
2025-01-10 10:13:00
特斯拉Model Y焕新版突然上市!售价26.35万-30.35万元
快科技1月10日消息,特斯拉Model Y焕新版正式上市,推出两款配置,售价分别为26.35万和30.35万元。 新款Model Y在外观上进行了更新
2025-01-10 10:20:00
锐龙7 9800X3D火到脱销!AMD:没想到对手产品这么糟糕
快科技1月10日消息,AMD锐龙7 9800X3D已经发布3个月了,但在这期间几乎就没有正常售卖过,不是预约抢购,就是直接下架显示缺货
2025-01-10 10:20:00
联想IDG总裁:AI眼镜未来可与智能手机竞争 成为数亿用户的主要平台
快科技1月10日消息,在国际消费类电子产品展览会(CES 2025)期间,联想集团执行副总裁、智能设备业务集团(IDG)总裁Luca Rossi分享了自己对AI眼镜的看法
2025-01-10 10:20:00
美国加州山火肆虐迫近!NASA喷气推进实验室紧急关停
快科技1月10日消息,据报道,美国加利福尼亚州南部的洛杉矶地区正面临山火的严峻考验,火势持续蔓延,造成了广泛的影响。位于加州圣盖博山脚下的美国国家航空航天局(NASA)喷气推进实验室(JPL)
2025-01-10 10:20:00
三星Galaxy S25 Slim跑分首曝:骁龙8Elite超频版稳了
快科技1月10日消息,今日,数码博主@完美编排数码曝光了一组疑似三星Galaxy S25 Slim的Geekbench6跑分成绩
2025-01-10 10:20:00
26.35万起!特斯拉焕新Model Y中国上市:详细升级一览 官方放话“尽管对比”
快科技1月10日消息,毫无征兆,今日特斯拉焕新Model Y正式上线中国官网。官方对新Model Y相当自信,称“尽管对比”
2025-01-10 10:20:00
载誉前行丨法大大上榜胡润瞪羚企业等多个权威榜单
摘要:近日,法大大相继上榜2024胡润全球瞪羚企业榜、36氪WISE2024商业之王年度最具商业潜力企业、甲子光年2024中国企业服务领域最具商业潜力榜
2025-01-10 10:46:00
顶级硬件组合!机械师新款曙光16 Pro用上9955HX3D搭配RTX 5090
快科技1月10日消息,在2025年CES展会上,机械师推出了2025款曙光16 Pro游戏笔记本,日前官方公布了这款笔记本的详细配置
2025-01-10 10:50:00
1799元起!华为畅享70X开售:首发麒麟8000A+一键北斗
快科技1月10日消息,今日10:08华为畅享70X正式开售,其售价分别为128GB版本1799元,256GB版本1999元
2025-01-10 10:50:00