• 我的订阅
  • 科技

研究人员给了人工智能一个“内心独白”,结果大大提高了其性能

类别:科技 发布时间:2024-03-21 16:13:00 来源:知新了了

科学家们用一种名为“QuietSTaR”的技术训练了一个人工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。

一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。

研究人员给了人工智能一个“内心独白”,结果大大提高了其性能

这种方法训练的人工智能系统,会在对提示做出反应之前进行思考,就像许多人在说话之前会考虑我们接下来应该说什么一样。这与科学家训练主流人工智能聊天机器人的方式不同,比如ChatGPT,它们不会“思考”自己写的内容,也不会预测对话中下一步的不同可能性。

这种新方法被称为“Quiet-STaR”,它指示人工智能系统在回应对话提示之前并行生成许多内在原理。当人工智能回答提示时,它会将这些有或没有基本原理的预测混合在一起,打印出最佳答案 —— 这可以由人类参与者根据问题的性质进行验证。

最后,它通过抛弃那些被证明是错误的基本原理来学习。实际上,这种训练方法使人工智能代理能够预测未来的对话,并从正在进行的对话中学习。

研究人员将Quiet-STaR算法应用于Mistral 7B,这是一个开源的大型语言模型(LLM),并于3月14日将结果发布在预印本数据库arXiv上。(该论文尚未经过同行评议。)

“Quiet-STaR”训练过的“Mistral 7B”在推理测试中的得分为47.2%,而训练前的得分为36.3%。它在学校的数学考试中仍然不及格,得分为10.9%。但这几乎是vanilla版5.9%的初始分数的两倍。

像ChatGPT和Gemini这样的模型是由神经网络构建的 —— 机器学习算法的集合,以模仿人类大脑的结构和学习模式的方式排列。然而,使用这种架构构建的系统在常识推理或情境化方面非常糟糕 —— 人工智能聊天机器人并没有真正的“理解”。

过去提高LLM推理能力的尝试是高度特定于领域的,无法应用于不同类型的人工智能模型。

研究人员将自学推理器(STaR)算法作为他们工作的基础,这是这种训练算法的一个例子,但受到这些限制的阻碍。

开发 Quiet STaR 的科学家之所以将其如此命名,是因为它的原理可以在后台悄悄地应用于几种不同类型的LLM,且独立于原始训练数据。现在,他们想研究,像他们这样的技术如何缩小基于神经网络的人工智能系统和类人推理能力之间的差距。

如果朋友们喜欢,敬请关注“知新了了”!

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-21 17:45:14

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

为什么喜剧演员不用AI?原因在于OpenAI阻止大模型产出冒犯型内容
人工智能擅长很多事情,比如发现数据中的规律,创建逼真的图像,并将数千个单词浓缩成几个段落,但它写出优秀的喜剧剧本和段子吗?新的研究表明,它可以,但只是在非常有限的范围内。这是一个
2024-06-19 09:28:00
在脑子里和自己聊天,居然不是人类的默认设置?
...内心独白和视觉图像之间并不是互相排斥的。哈佛大学的研究人员在发表于《神经影像》(NeuroImage)的论文中指出, 无论被试是否用“内心独白”思考,他们都会创造出相伴的视觉
2023-07-15 15:00:00
量化私募都坐不住了,纷纷成立AI实验室,要撑出半边天?
...本重估中国科技投资价值的同时,背后是量化私募行业在人工智能的布局的前瞻性。近日,百亿量化宽德旗下WILL智能学习实验室人才招聘,近百亿量化私募蒙玺投资AI Lab全新上线,公
2025-02-25 22:44:00
量子人工智能性能飞跃有望?新技术突破将机器学习推入新境界……
...战传统计算机的任务。过参数化(Overparametrization),是人工智能机器学习中使用的一种技术,通过引入比必要情况更多的参数或变量来提高模型的性能和训练动态。在这
2023-08-17 16:33:00
2024国际AI与高性能计算学术会议在合肥举行
...汇聚来自全球的研究人员、行业专家和从业者,共同探讨人工智能与高性能计算交叉领域的最新进展、挑战和未来趋势。合肥高新区党工委委员、管委会副主任王俊生出席大会并发表致辞。王俊生在
2024-06-28 09:14:00
...细胞学AI分析软件研究资料要求——《血液病流式细胞学人工智能分析软件性能评价审评要点》概述□ 陈亭亭《血液病流式细胞学人工智能分析软件性能评价审评要点》旨在指导注册申请人对血
2023-10-12 07:12:00
...规范图像AI分析软件非临床评价资料填写——《病理图像人工智能分析软件性能评价审评要点》概述□ 韩昭昭病理图像人工智能分析软件是指基于数字病理图像,采用深度学习等人工智能技术实
2023-10-12 07:12:00
最新研发模拟人工智能芯片:能效14倍于传统芯片提升语音识别效率
...究人员报道了一种能效为传统数字计算机芯片14倍的模拟人工智能(AI)芯片。研究显示,这一由美国IBM研究实验室开发的芯片在语音识别上的效率超过通用处理器,该项技术或能打破当前
2023-08-24 14:22:00
...光明的应用前景。论坛上,专家学者与企业家们探讨通用人工智能、脑科学与类脑智能等未来产业前瞻布局的发展机遇与现实挑战,围绕未来产业热潮下的机遇与挑战、智能科技引领下的转型与创新
2023-11-06 06:06:00
更多关于科技的资讯:
中新经纬2月2日电 据“中国银联”网站消息,1月30日,中国银联发布声明称,公司从未联合或授权任何机构发行所谓“农业专属卡”
2026-02-02 20:22:00
贵州刺梨以高附加值产品开拓全国大市场
春节前夕,正值年货采买热潮,贵州刺梨产业也迎来新的发展节点——由贵州农发集团下属贵州刺梨集团研发的SOD(超氧化物歧化酶)肠溶片系列产品
2026-02-02 17:01:00
如何评价一家事业编培训机构?从鸿图政通教育的扎实筹备说起
在快速更迭的培训市场,不乏一时风头无两的机构,但能持续赢得信任的品牌,往往离不开长时间的潜心积淀与专业化打磨。北京鸿图政通教育虽于2024年1月22日正式注册成立
2026-02-02 19:30:00
海信发布璀璨大冻梨冰箱 以“真大冷冻”新标准破解行业用户痛点
鲁网2月2日讯1月31日,海信正式推出全新产品——海信璀璨大冻梨冰箱。这款被定义为“行业大冷冻冰箱开创者”的产品,旨在系统性解决中国家庭在食材冷冻存储中长期面临的容积不足
2026-02-02 14:17:00
深挖用户痛点:海信璀璨大冻梨冰箱背后的“冻力”革命与创新哲学
鲁网2月2日讯中国家庭的冷冻室正面临一场普遍的“存储危机”:食材堆积导致存取不便;大量囤货时中心温度难以下降;化冻后的肉类口感干柴
2026-02-02 14:18:00
产业一线|每天翻开200次,折叠屏手机能用多久?
中新经纬1月29日电 (李自曼)“目前柔性OLED(有机发光二极管,是一种显示技术,被誉为第三代显示技术)屏,已经可以广泛应用在内折
2026-02-02 14:41:00
日前,在2026年美国气象学会年会上,英伟达正式推出Earth-2开放模型系列——面向人工智能气象领域的全开放、加速型模型与工具套件
2026-02-02 14:52:00
2026年1月30日,全球服务机器人行业领导者科沃斯(603486.SH)发布了2025年度业绩预告。预计2025年净利润17—18亿元
2026-02-02 14:53:00
AI赋能精准破局,绵阳开启高校毕业生高质量就业新路径
“以前写简历总抓不住重点,面试应答也缺乏逻辑。参加集训营后,我用AI工具精准生成了针对性简历和面试话术,还制作了个性化职业照和个人介绍短片
2026-02-02 14:54:00
没有什么比开业更优惠!三联家电章丘世茂店盛大试营业,全场5折起!
鲁网2月2日讯没有什么比开业更优惠!正值年货节消费旺季,三联家电作为国补以旧换新指定参与卖场,对个人消费者购买1级能效或水效标准的冰箱
2026-02-02 15:27:00
近日,多家媒体报道的“凌晨点外卖次数过多银行卡被风控”事件,让银行客户权益、风控安全之间的平衡问题再次受到关注。不少网友分享了类似经历
2026-02-02 16:27:00
AI OPC专区产业服务平台正式上线,助力无锡打造AI创新高地
近日,“智序·新征程—AI起航·预见未来”无锡市人工智能行业协会年度生态大会在无锡国际会议中心隆重举行。大会汇聚政府领导
2026-02-02 15:58:00
多彩贵州网讯 今年以来,都匀市税务局依托黔南州云税匀办税费集约中心持续拓展“线上主动服务”的应用场景,不断推动税费服务从“解答问题”向“解决问题”深刻转变
2026-02-02 16:10:00
零中断、零感知切换——泰安联通肥城分公司高效完成远端机房撤并实现降本增效与网络升级双突破
鲁网2月2日讯近日,在肥城城区的两个角落——交通局沿街6楼机房与上海世纪城基站,泰安联通肥城分公司组织网络综合支撑网格的10名技术骨干
2026-02-02 11:23:00