• 我的订阅
  • 科技

研究人员给了人工智能一个“内心独白”,结果大大提高了其性能

类别:科技 发布时间:2024-03-21 16:13:00 来源:知新了了

科学家们用一种名为“QuietSTaR”的技术训练了一个人工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。

一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。

研究人员给了人工智能一个“内心独白”,结果大大提高了其性能

这种方法训练的人工智能系统,会在对提示做出反应之前进行思考,就像许多人在说话之前会考虑我们接下来应该说什么一样。这与科学家训练主流人工智能聊天机器人的方式不同,比如ChatGPT,它们不会“思考”自己写的内容,也不会预测对话中下一步的不同可能性。

这种新方法被称为“Quiet-STaR”,它指示人工智能系统在回应对话提示之前并行生成许多内在原理。当人工智能回答提示时,它会将这些有或没有基本原理的预测混合在一起,打印出最佳答案 —— 这可以由人类参与者根据问题的性质进行验证。

最后,它通过抛弃那些被证明是错误的基本原理来学习。实际上,这种训练方法使人工智能代理能够预测未来的对话,并从正在进行的对话中学习。

研究人员将Quiet-STaR算法应用于Mistral 7B,这是一个开源的大型语言模型(LLM),并于3月14日将结果发布在预印本数据库arXiv上。(该论文尚未经过同行评议。)

“Quiet-STaR”训练过的“Mistral 7B”在推理测试中的得分为47.2%,而训练前的得分为36.3%。它在学校的数学考试中仍然不及格,得分为10.9%。但这几乎是vanilla版5.9%的初始分数的两倍。

像ChatGPT和Gemini这样的模型是由神经网络构建的 —— 机器学习算法的集合,以模仿人类大脑的结构和学习模式的方式排列。然而,使用这种架构构建的系统在常识推理或情境化方面非常糟糕 —— 人工智能聊天机器人并没有真正的“理解”。

过去提高LLM推理能力的尝试是高度特定于领域的,无法应用于不同类型的人工智能模型。

研究人员将自学推理器(STaR)算法作为他们工作的基础,这是这种训练算法的一个例子,但受到这些限制的阻碍。

开发 Quiet STaR 的科学家之所以将其如此命名,是因为它的原理可以在后台悄悄地应用于几种不同类型的LLM,且独立于原始训练数据。现在,他们想研究,像他们这样的技术如何缩小基于神经网络的人工智能系统和类人推理能力之间的差距。

如果朋友们喜欢,敬请关注“知新了了”!

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-21 17:45:14

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

在脑子里和自己聊天,居然不是人类的默认设置?
...内心独白和视觉图像之间并不是互相排斥的。哈佛大学的研究人员在发表于《神经影像》(NeuroImage)的论文中指出, 无论被试是否用“内心独白”思考,他们都会创造出相伴的视觉
2023-07-15 15:00:00
量子人工智能性能飞跃有望?新技术突破将机器学习推入新境界……
...战传统计算机的任务。过参数化(Overparametrization),是人工智能机器学习中使用的一种技术,通过引入比必要情况更多的参数或变量来提高模型的性能和训练动态。在这
2023-08-17 16:33:00
...细胞学AI分析软件研究资料要求——《血液病流式细胞学人工智能分析软件性能评价审评要点》概述□ 陈亭亭《血液病流式细胞学人工智能分析软件性能评价审评要点》旨在指导注册申请人对血
2023-10-12 07:12:00
...规范图像AI分析软件非临床评价资料填写——《病理图像人工智能分析软件性能评价审评要点》概述□ 韩昭昭病理图像人工智能分析软件是指基于数字病理图像,采用深度学习等人工智能技术实
2023-10-12 07:12:00
最新研发模拟人工智能芯片:能效14倍于传统芯片提升语音识别效率
...究人员报道了一种能效为传统数字计算机芯片14倍的模拟人工智能(AI)芯片。研究显示,这一由美国IBM研究实验室开发的芯片在语音识别上的效率超过通用处理器,该项技术或能打破当前
2023-08-24 14:22:00
剑桥大学 X 戴尔:开发英国最快的人工智能超级计算机
...度推动英国超算快速发展。而此次公布的Dawn,作为英国人工智能研究资源(AIRR)计划的第一部分,将成为英国最大的公共计算集群。人工智能研究资源(AIRR)计划:英国政府于今
2023-11-09 17:12:00
...光明的应用前景。论坛上,专家学者与企业家们探讨通用人工智能、脑科学与类脑智能等未来产业前瞻布局的发展机遇与现实挑战,围绕未来产业热潮下的机遇与挑战、智能科技引领下的转型与创新
2023-11-06 06:06:00
摘要:人工智能(AI)在各个领域的广泛应用引起社会各界的兴趣和讨论,要使AI系统取得成功,不仅需要强大的计算能力和大规模数据集,还需要精密的分析和优化策略来确保其性能和可靠性。本
2024-01-27 03:05:00
本文转自:中国科学报超级人工智能会偷袭人类吗?新研究给出答案本报讯 一个人工智能的超级智能会突然出现吗,还是科学家能预见它的到来并来得及向全世界发出警报?随着大型语言模型,如Ch
2023-12-29 07:44:00
更多关于科技的资讯: