• 我的订阅
  • 科技

研究人员给了人工智能一个“内心独白”,结果大大提高了其性能

类别:科技 发布时间:2024-03-21 16:13:00 来源:知新了了

科学家们用一种名为“QuietSTaR”的技术训练了一个人工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。

一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。

研究人员给了人工智能一个“内心独白”,结果大大提高了其性能

这种方法训练的人工智能系统,会在对提示做出反应之前进行思考,就像许多人在说话之前会考虑我们接下来应该说什么一样。这与科学家训练主流人工智能聊天机器人的方式不同,比如ChatGPT,它们不会“思考”自己写的内容,也不会预测对话中下一步的不同可能性。

这种新方法被称为“Quiet-STaR”,它指示人工智能系统在回应对话提示之前并行生成许多内在原理。当人工智能回答提示时,它会将这些有或没有基本原理的预测混合在一起,打印出最佳答案 —— 这可以由人类参与者根据问题的性质进行验证。

最后,它通过抛弃那些被证明是错误的基本原理来学习。实际上,这种训练方法使人工智能代理能够预测未来的对话,并从正在进行的对话中学习。

研究人员将Quiet-STaR算法应用于Mistral 7B,这是一个开源的大型语言模型(LLM),并于3月14日将结果发布在预印本数据库arXiv上。(该论文尚未经过同行评议。)

“Quiet-STaR”训练过的“Mistral 7B”在推理测试中的得分为47.2%,而训练前的得分为36.3%。它在学校的数学考试中仍然不及格,得分为10.9%。但这几乎是vanilla版5.9%的初始分数的两倍。

像ChatGPT和Gemini这样的模型是由神经网络构建的 —— 机器学习算法的集合,以模仿人类大脑的结构和学习模式的方式排列。然而,使用这种架构构建的系统在常识推理或情境化方面非常糟糕 —— 人工智能聊天机器人并没有真正的“理解”。

过去提高LLM推理能力的尝试是高度特定于领域的,无法应用于不同类型的人工智能模型。

研究人员将自学推理器(STaR)算法作为他们工作的基础,这是这种训练算法的一个例子,但受到这些限制的阻碍。

开发 Quiet STaR 的科学家之所以将其如此命名,是因为它的原理可以在后台悄悄地应用于几种不同类型的LLM,且独立于原始训练数据。现在,他们想研究,像他们这样的技术如何缩小基于神经网络的人工智能系统和类人推理能力之间的差距。

如果朋友们喜欢,敬请关注“知新了了”!

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-21 17:45:14

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

为什么喜剧演员不用AI?原因在于OpenAI阻止大模型产出冒犯型内容
人工智能擅长很多事情,比如发现数据中的规律,创建逼真的图像,并将数千个单词浓缩成几个段落,但它写出优秀的喜剧剧本和段子吗?新的研究表明,它可以,但只是在非常有限的范围内。这是一个
2024-06-19 09:28:00
在脑子里和自己聊天,居然不是人类的默认设置?
...内心独白和视觉图像之间并不是互相排斥的。哈佛大学的研究人员在发表于《神经影像》(NeuroImage)的论文中指出, 无论被试是否用“内心独白”思考,他们都会创造出相伴的视觉
2023-07-15 15:00:00
量化私募都坐不住了,纷纷成立AI实验室,要撑出半边天?
...本重估中国科技投资价值的同时,背后是量化私募行业在人工智能的布局的前瞻性。近日,百亿量化宽德旗下WILL智能学习实验室人才招聘,近百亿量化私募蒙玺投资AI Lab全新上线,公
2025-02-25 22:44:00
量子人工智能性能飞跃有望?新技术突破将机器学习推入新境界……
...战传统计算机的任务。过参数化(Overparametrization),是人工智能机器学习中使用的一种技术,通过引入比必要情况更多的参数或变量来提高模型的性能和训练动态。在这
2023-08-17 16:33:00
2024国际AI与高性能计算学术会议在合肥举行
...汇聚来自全球的研究人员、行业专家和从业者,共同探讨人工智能与高性能计算交叉领域的最新进展、挑战和未来趋势。合肥高新区党工委委员、管委会副主任王俊生出席大会并发表致辞。王俊生在
2024-06-28 09:14:00
...细胞学AI分析软件研究资料要求——《血液病流式细胞学人工智能分析软件性能评价审评要点》概述□ 陈亭亭《血液病流式细胞学人工智能分析软件性能评价审评要点》旨在指导注册申请人对血
2023-10-12 07:12:00
...规范图像AI分析软件非临床评价资料填写——《病理图像人工智能分析软件性能评价审评要点》概述□ 韩昭昭病理图像人工智能分析软件是指基于数字病理图像,采用深度学习等人工智能技术实
2023-10-12 07:12:00
最新研发模拟人工智能芯片:能效14倍于传统芯片提升语音识别效率
...究人员报道了一种能效为传统数字计算机芯片14倍的模拟人工智能(AI)芯片。研究显示,这一由美国IBM研究实验室开发的芯片在语音识别上的效率超过通用处理器,该项技术或能打破当前
2023-08-24 14:22:00
...自:人民日报从经验主导向数据驱动转型,更加高效精准人工智能,这样影响科学研究本报记者 喻思南《 人民日报 》( 2024年11月04日 第 13 版)核心阅读当人工智能与科学研究“碰撞”
2024-11-04 06:01:00
更多关于科技的资讯:
摘要:本文围绕企业绩效管理体系的构建与完善展开研究,首先明确该体系的核心构成,包含目标设定、过程监控、评估实施与结果应用四个相互衔接的环节
2025-11-15 05:22:00
厦门软件园健康马拉松赛开跑 引入AI陪跑员
厦门网讯(厦门日报记者 林露虹 摄影报道)“我的‘跑友’是机器人!”昨日,厦门软件园第十七届健康马拉松赛在软件园二期热力开跑
2025-11-15 08:20:00
吉林本土动画电影《疯狂电脑城》,凭啥在海外频频获奖?
在温哥华华语电影节上,吉林动画学院师生联合打造的《疯狂电脑城》摘得“最佳动画片奖”,这已经不是该片第一次出海,2024年
2025-11-15 19:01:00
摘要:本文聚焦数字化转型背景下企业行政管理效率提升问题,首先剖析数字化转型与企业行政管理的内在关联,指出二者通过流程优化
2025-11-15 05:22:00
2025网聚美好安徽|“双路由”直连上海 看宿州腾“云”而上
大皖新闻讯 11月14日,“皖美十四五 再启新征程”2025网聚美好安徽网络主题活动采访团走进位于宿州高新区的汴水之畔超级计算中心
2025-11-15 10:05:00
“世界舞台”上秀一圈,南京收获了什么?
进博会圆满落幕,南京交易分团意向成交9.98亿美元“世界舞台”上秀一圈,南京收获了什么?□南京日报/紫金山新闻记者 黄琳燕11月10日
2025-11-14 08:38:00
埃斯顿工业机器人出货量持续增长 宁企连续三季霸榜国内“一哥”
11月13日,在江宁开发区埃斯顿智能制造示范车间内,工业机器人正在做各种场景应用展示。宁企埃斯顿今年前三季度机器人总销量约25000台
2025-11-14 08:39:00
一批创新产品亮相“宁创新品”信创产业教育专场活动 只需3步,20分钟完成全班作业批改南报网讯(记者徐宁)上传空白试卷和答案
2025-11-14 08:39:00
以AI引擎打造数字化转型山西模式
图片由讲述人提供讲述人 山西数据流量谷副总经理邵同旭我是山西数据流量谷的邵同旭,长期专注于数据要素与人工智能领域。多年来
2025-11-14 08:52:00
岁末是金融服务的“大考期”,业务量激增、客户需求多元叠加。张家口农商银行宣泰支行聚焦柜面运营核心环节,以“压降投诉、提升质量
2025-11-14 10:07:00
秋实如今,快节奏的都市生活中,“情绪消费”成为一种新的消费方式。数据显示,超九成青年认可情绪价值,近六成青年愿意为情绪价值买单
2025-11-14 11:28:00
新华社记者王雨萧周蕊一杯咖啡,能勾勒出怎样的经济图景?从云南绵延百万余亩的咖啡种植园,到上海梧桐树下香气氤氲的创意特调
2025-11-14 11:28:00
惠依近日,深圳大学深圳城市传播创新研究中心发布《短视频用户的算法实践与“破茧”报告》。《报告》显示,与一些人担忧“信息茧房”形成对比
2025-11-14 11:28:00
如新荣获2025消费责任对话活动客户服务创新典型案例
2025年11月5日,以“大力提振消费 品质服务担当”为主题的消费责任对话活动在成都成功举办。本次活动由中国消费者协会
2025-11-14 11:29:00
Shopee 11.11大促热力爆棚,Shopee Live直播开场4分钟即售出1100万件商品
2025年11月13日,中国 —— 近日,东南亚及巴西领航电商平台Shopee 11.11大促再掀购物狂潮,Shopee Live直播开场4分钟即售出1100万件商品
2025-11-14 11:31:00