• 我的订阅
  • 头条热搜
大模型不会推理,为什么也能有思路?有人把原理搞明白了
大模型不会照搬训练数据中的数学推理,回答事实问题和推理问题的「思路」也不一样。大语言模型的「推理」能力应该不是推理,在今年 6 月,一篇 Nature 论文《Language is primarily a tool for communication rather than thought》曾引发……更多
Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对
...科学家Denny Zhou拿出一篇ICLR 2024论文称:CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终,CoT会是通往AGI的正确路径吗?随着OpenAI o1的爆火,最近CoT也成了圈内热议的高频词。靠着CoT的强力加持,o1...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...本质的不同。其不仅进入到复杂的领域,还表现出超强的推理能力。OpenAI 将 GPT-4o 和 o1 在国际数学奥林匹克竞赛资格考试方面进行对比测试。根据结果,二者差异显著,其中,前者正确解决问题的准确率是 13.4%,而 o1 的准确率...……更多
CMU清华教LLM练成数学高手,LeanSTaR训练模型边思考边证明,登顶新SOTA
...办?CMU清华团队提出了Lean-STaR训练框架,在语言模型进行推理的每一步中都植入CoT,提升了模型的定理证明能力,成为miniF2F上的新SOTA。如果想训练LLM证明定理的能力,你会怎么做?既然模型可以通过海量语料学会生成文本,那...……更多
罗格斯大学团队提出思想链概念,提高大模型的算数推理能力
...概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。图 | 金明宇(来源:金明宇)CoT 的原理是通过提供推理过程的示例,来教会模型处理推理,详细说明导致最...……更多
AI出图更快、更懂你心意,高美感文生图模型修炼了哪些技术秘籍?
...等工具如何为部署模型提供支持,助力大模型更加高效地推理。赵一嘉首先分享了 Stable Diffusion 背后模型的原理详解,细致地阐述了 Clip、VAE 和 Unet 等关键组件的工作原理。随着 Sora 爆火,也带火了背后的 DiT(扩散 Transformer)...……更多
清华团队提出新型光计算架构,光训练速度提升1个数量级
...智能计算的“潜力股”,为后摩尔时代带来新的希望。 推理和训练是 AI 大模型核心能力的两个重要阶段,正是看到了这一点,该团队在推理和训练方面进行了同期的并行研究。今年 4 月,他们在 Science 报道了通用智能光计算芯...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
...十亿左右。“做大”,能让大模型具备更强的涌现能力和推理能力,从而适用于难度更高的任务。“做小”,能让大模型获得更优秀的推理能力,从而能被部署到手机、手表、耳机、录音笔等各类小微终端之中。情景学习(ICL,...……更多
对标OpenAI o1!Kimi发布新一代推理模型:中考高考考研全第一
...的Kimi国产大模型正式发布k0-math。k0-math是Kimi推出的首款推理能力强化模型,采用全新强化学习和思维链推理技术,通过模拟人脑的思考和反思过程,大幅提升解决数学难题的能力。据了解,在多项数学基准能力测试中,k0-math的...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
三个大模型组队挑战o1,实测360多模型协作干掉提示词工程
...横空出世,开启了大模型演化的新范式——Inference law(推理定律)。正如英伟达AI科学家Jim Fan所说,o1的出现标志着大模型研发者开始把集中在训练阶段的投入,开始转移到了推理过程。Jim还引用了机器学习先驱Rich Sutton的经典...……更多
让OpenAI o1逆天的慢思考,360两月前就做出来了?周鸿祎CoE媲美CoT,应用太前瞻
...读】o1大火背后,最关键的技术是CoT。模型通过一步一步推理,恰恰是「慢思考」的核心要义。而这一观点,其实这家国内大厂早就率先实现了。OpenAI的理念,居然被国内公司抢先践行了?比起OpenAI,这家公司的idea提出得更早,...……更多
推理性能直逼o1,DeepSeek再次出手,重点:即将开源
...出手了,这次又是重磅炸弹。昨晚,DeepSeek 上线了全新的推理模型 DeepSeek-R1-Lite-Preview,直接冲击 OpenAI o1 保持了两个多月的大模型霸主地位。在美国数学竞赛(AMC)中难度等级最高的 AIME 以及全球顶级编程竞赛(codeforces)等权...……更多
o1突发内幕曝光?谷歌更早揭示原理 大模型光有软件不存在护城河
...果比较有限。因此该研究想要探明,在使用比较少的额外推理计算时,就能能让模型性能提升多少?他们设计了一组实验,使用PaLM2-S*在MATH数据集上测试。主要分析了两种方法:(1)迭代自我修订:让模型多次尝试回答一个问...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
研究人员给了人工智能一个“内心独白”,结果大大提高了其性能
...工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。这种方法训练的人工智能系统,会在对提示做出...……更多
李彦宏发布文心大模型4.0工具版,推理成本降到1%
...练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了105倍,推理的成本降到了原来的1%。“也就是说,客户原来一天调用1万次,同样成本之下,现在一天可以调用100万次。”此外,李彦宏在演讲中分享了百度...……更多
菲尔兹奖得主亲测GPT-4o,经典过河难题破解失败!最强Claude 3.5回答离谱,LeCun嘲讽LLM
... 3.5依旧答错了。LeCun在此嘲讽大模型一番,大模型竟可以推理...?问题在于,LLM没有常识,不理解现实世界,也不会规划和推理。LLM行不行,就看提示了一位网友分析总结了,以上LLM失败的原因。他表示,LLM本身就是个「哑巴」...……更多
对标o1,Kimi放出了最能打的国产模型
...历新一轮技术范式的变化,预训练 Scaling Law 放缓之后,推理时间计算成为了新的性能提升关键。两个月前,OpenAI o1 的诞生再次引领了大模型技术的突破。从后训练阶段入手,通过更多的强化学习、原生的思维链和更长的推理时...……更多
科学家竞相破解大型语言模型背后的谜团
...复杂行为。面对复杂问题,人类在潜意识里会进行分步骤推理。受此启发,谷歌团队2022年引入了“思维链提示”,以描述一种让LLM展示其“思维”的方法。简单来说,思维链提示是一种特殊的上下文学习。不同于标准提示只给...……更多
OpenAI 超强 o1 智商超 120 遥遥领先于其他模型:1 小时写出 NASA 博士 1 年代码,最新编程赛超越 99.8% 选手
...的 agent,是关键的一步。而这篇论文就重点研究了扩展「推理期计算」(inference-time computation)这个问题。研究团队分析了扩展测试时计算的两种主要机制:(1)针对密集的、基于过程的验证器奖励模型进行搜索;(2)根据测...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
新智元报道编辑:乔杨【新智元导读】LLM的数学推理能力缺陷得到了很多研究的关注,但最近浙大、中科院等机构的学者们提出,先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种...……更多
大模型新趋势之MoE:现状、挑战及研究方向
...,MoE在训练过程通过门控模型实现“因材施教”,进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化,在模型研发成本、训练/推理效率和整体性能之间实现最佳...……更多
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...较长的小说了。更重要的是,LLM真的能在这个长度上进行推理吗?近日,有两篇独立研究分别表明:长上下文水分很大!LLM实际上并不能「理解」内容。读小说挑战首先是来自UMass、AI2和普林斯顿的研究人员,推出了一项针对性...……更多
NeurIPS 2024|水印与高效推理如何两全其美?最新理论:这做不到
... sampling)结合,在为大语言模型加入水印的同时,提升其推理效率,降低推理成本,因此适合用于大规模生产环境。这项研究发表在了 Nature 杂志上,给出了两种具体的结合方法,分别在水印检测效果和生成速度上达到了现有最...……更多
探索终端操作系统领域AI大模型创新趋势 OpenHarmony技术大会OS原生智能分论坛召开
...发展带来了崭新的机遇,有望通过强大的语义理解和常识推理能力大大提升智能个人代理支持功能的广度和深度。”清华大学助理研究员李元春主题分享中软国际有限公司智能物联网军团产品研发管理部总经理、OpenHarmony项目群技...……更多
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...M) 是如何解数学题的?是通过模板记忆,还是真的学会了推理思维?模型的心算过程是怎样的?能学会怎样的推理技能?与人类相同,还是超越了人类?只学一种类型的数学题,是会对通用智能的发展产生帮助?LLM 为什么会犯...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...小尺寸版o1-mini。OpenAI官方发文称,新模型旨在解决复杂推理问题,训练模型在响应之前花更多时间思考,类似于人类的思考方式。“新模型在推理能力上代表了AI能力的新水平。”OpenAI称,该模型可以解决科学、编程和数学等更...……更多
中兴通讯引领算力时代:投资智能计算基础设施与大模型训练推理
...于算力领域,并致力于智能计算基础设施、大模型的训练推理算法以及工程优化的研究和开发。#中兴通讯绿色算力主力军#在算力领域,大模型的技术和应用已经成为一个趋势。大模型是一种基于深度学习技术的自然语言处理模...……更多
AI表现直逼国际奥数优秀选手, 它要 “征服”数学了吗?
...同步揭晓。这项赛事的目的是推动发展大语言模型的数学推理能力,训练出更高数学水平的新AI模型。纯数学领域中的重大发现是推理和创造力的灵感结晶,往往意味着人类智慧极限的突破。迄今为止,解决或协助解决高等级数...……更多
更多关于科技的资讯:
昨天,孙女士来电:请问70岁以上的老年人看电影有什么优惠?现在《哪吒2》很火,我们很想看。2024年杭州电影惠民工程老年人优惠观影活动已经结束
2025-02-21 09:28:00
iPhone 16e开卖 既要销量又要利润:苹果刀法还灵吗
时隔三年之后,苹果终于更新了“入门级”iPhone。但这次的入门机价格一点也不亲民。苹果并不愿意为了销量,放弃行业最高的利润率
2025-02-21 09:29:00
OPPO刘作虎:Find X8是国补最大赢家 系列销量达上代2倍非常成功
快科技2月21日消息,昨天OPPO发布了全球最薄的折叠屏手机Find N5,而刘作虎也是直言,打造它真的是太难了。刘作虎接受媒体采访时表示
2025-02-21 09:29:00
抢吧!RTX 5070、5060系列遭遇性能Bug:量产推迟1个月
快科技2月20日消息,RTX 5070 Ti上市时间从原定的2月13日推迟到了2月20日,RTX 5070也从原定的2月底推迟到了3月5日
2025-02-21 09:29:00
奔驰交出冰点年报
当中国有钱人转投问界,留给奔驰的只能是——跌跌跌跌。在刚刚披露的最新年度财报中,豪华一哥销量跌,价格跌,利润跌…连股价都在跌
2025-02-21 09:29:00
全球智驾看华为!余承东:我们智驾已实现全国都能开、有位就能停 L3就绪
快科技2月21日消息,在余承东看来,华为智能驾驶是遥遥领先的。余承东表示,HUAWEI ADS目前已实现全国都能开、有位就能停
2025-02-21 09:29:00
美国人口3.41亿社保却有3.98亿人 最大360岁:官方甩锅66年代码的问题
2月21日消息,近日,美国社保再曝黑账:该国总人口为3.41亿,社保系统里却有3.98亿人,多出来了近6000万人。在美国社保系统里
2025-02-21 09:29:00
eVTOL:供应链的策略如何选择
今年春节,大数据冷不丁推荐了时的科技的视频,这篇稿子也由此而来。 时的科技正式签署问题纪要G-1整个视频4分钟不到,却埋了个重要信息
2025-02-21 09:45:00
极空间私有云市场表现力压群雄 斩获双平台销额销量双冠军殊荣
近日,国内领先的智能网络存储品牌极空间私有云宣布,斩获“2024年天猫、京东双平台网络存储销额、销量双冠军”殊荣。这一好成绩不仅彰显了极空间在技术创新和用户口碑上的卓越表现
2025-02-21 09:45:00
碧橙数字子公司扬趣探索冬季户外时尚,撬动雪境品牌热
哈尔滨第九届亚洲冬季运动会顺利闭幕,与此同时,以冰雪旅游、冰雪运动为底色的冰雪经济仍在“发光发热”,朝着万亿规模迈进。当各大户外品牌扎堆“冰雪+”赛道时
2025-02-21 09:46:00
乐数通以数字资产赋能品牌价值和实体经济
数字资产正在重塑社会的价值传递方式,成为连接物理世界与数字世界的价值桥梁。区块链技术的不可篡改性、去中心化特征,为数字资产的确权
2025-02-21 09:48:00
千元档屠榜!噪音终结者:戴上它,世界瞬间宁静、HiFi杠把子
在当今快节奏的生活中,优质的音频体验已经成为许多人不可或缺的一部分。无论是通勤途中、健身房里还是在家放松时,一款出色的耳机不仅能带来HiFi听觉盛宴
2025-02-21 09:53:00
破解泌尿系统肿瘤治疗瓶颈 :重点实验室揭牌,产学研医深度融合
文|罗曾2025年2月16日,由中国医学科学院肿瘤医院泌尿外科与京东方智慧医工研究院联合主办的“泌尿系统肿瘤治疗新技术论坛”在京召开
2025-02-21 09:54:00
避开美国制裁!华为突破“包围圈” 再次向世界市场发起攻势
快科技2月21日消息,对于现在的华为,有日本媒体直言,早已避开了美国的制裁。近日,有日媒发表题为《华为突破“包围圈”》的文章指出
2025-02-21 09:59:00
钉钉免费开放AI企业搜索服务:搜索效率提升300%
快科技2月21日消息,据报道,钉钉宣布其AI企业搜索向所有用户免费开放,同时新增支持慢思考模式和全网搜索,支持移动端、桌面端7
2025-02-21 09:59:00