• 我的订阅
  • 科技

整合长期记忆,AI实现自我进化,探索大模型这一可能性

类别:科技 发布时间:2024-10-29 09:55:00 来源:机器之心Pro

地球上最早的生命证据至少可以追溯到 35 亿年前,而直到大约 25 万到 40 万年前,智人才出现地球上。在这漫长的岁月中,生物不断地兴盛又覆灭,但整体趋势总是越来越复杂,其中最复杂的生物组件莫过于我们智人的大脑。这样的复杂性是我们的意识和智慧的来源。而这一切背后的机制是进化(evolution)。

到了现今的大模型时代,强大的基础模型已经展现出了强大的智能水平,能完成多种多样的任务。但它们也有个缺点,训练之后就基本定型了,难以随着用户的使用而演进。但毫无疑问,这项能力很重要。

近日,天桥脑科学研究院和普林斯顿大学等多所研究机构发布了一篇研究论文,详细阐述了长期记忆对 AI 自我进化的重要性,并且他们还提出了自己的实现框架 —— 基于多智能体的 Omne,其在 GAIA 基准上取得了第一名的成绩。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

论文标题:Long Term Memory : The Foundation of AI Self-Evolution 论文地址:https://arxiv.org/pdf/2410.15665

首先,该团队将 LLM 的模型进化过程分成了三个主要阶段

阶段 1:在物理世界中积累认知。 阶段 2:在数字世界中构建基础模型。 阶段 3:模型自我进化,以实现更强大的智能。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

现有的研究主要围绕着阶段 1 和 2,即如何构建更好的数据以及将其用于训练更强大的基础模型。目前人们有一个普遍的看法:在这种曲线拟合范式中,架构并不重要,关键的因素是数据集。但到了阶段 3,架构就会变得和数据一样重要。核心的难题是如何在统计模型的基础上有效表达少数个体的数据。该研究关注的核心是如何确保在统计模型内有效地表达个体数据。

实现模型自我进化的原理

模型的自我进化能力是模型长期适应和个性化的关键,而这又严重仰赖于有效的记忆机制。

在这一理解的基础上,该团队提出:长期记忆(LTM)能为模型的持续进化提供历史数据积累和经验学习能力。正如人类通过经验和记忆来完善认知和行为一样,LTM 也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。

用 LTM 数据提升模型能力,使其能够自我进化

在传统 LLM 中,更新模型通常需要调整所有参数,而如果目的是处理个体数据,那这种操作明显不切实际。

一种更优的方法是仅更新局部参数,从而在无损模型全局稳定性的前提下,让模型适应稀疏、个性化的 LTM 数据。这种方法可解决当前模型中个体数据「被平均化」的问题,使个性化信息能够更全面地表达。使用上下文学习(ICL)的检索增强生成(RAG)和用于微调的低秩适应(LoRA)等技术都可被视为局部更新个体数据的方法。

该团队的做法是采用一种混合策略来整合 LTM 数据,从而在实际应用中达到让人满意的结果。但是,该团队也表示,这可能并非一种完美的解决方案,未来可能还会出现更好的方法。

组合 LTM 数据进行实时权重更新,从而实现自我进化

当前的 LLM 通常分为训练和推理两个阶段。在推理阶段,模型权重是冻结的,防止模型根据新输入进行调整和学习。这种固定的推理过程会限制模型的适应性,尤其是在处理个性化任务和实时学习方面。

受人脑更新机制的启发,该团队认为未来的 LLM 应该将推理和训练与 LTM 结合起来,使模型能够在接收到新信息时动态调整权重。这就类似于人类的持续学习能力。

此外,这种集成还可以帮助模型在面对复杂的推理任务时自我反思并纠正错误的推理路径,从而提高准确性和效率。

这种动态的自我调整能力将大大提升模型的个性化能力和长期进化潜力。通过长期记忆,模型不仅可以从短期记忆中学习,还可以从历史数据中提取有价值的见解,随着时间的推移能更深入地理解个人偏好和行为模式。这种理解可实现模型的个性化定制和动态调整,使模型能够更有效地进化。特别是在面对新的或极端的情况时,长期记忆使模型能够参考过去的经验,快速做出调整并自我进化,从而获得更大的灵活性和适应性。

长期记忆在模型自我进化中的实现路径

该团队首先将给出 AI 自我进化和 LTM 的定义,然后探索 LTM 在 AI 自我进化中的关键作用,之后会介绍如何使用 LTM 来实现 AI 自我进化。

他们做出了以下贡献:

给出了 AI 自我进化和 LTM 的定义; 提出了一个用于 LTM 的数据框架,包括数据收集、分析与合成; 提出了一个用于 LTM 的多智能体协作开发框架。

AI 自我进化的基础

这里简要给出 AI 自我进化的定义,详情请参阅原论文。

AI 自我进化是指 AI 模型使用个性化数据不断学习和优化,实现多智能体协作和认知方面的突破。该过程基于一个共享式内核架构,其中各个模型通过处理个性化经验和数据不断进化,从而提升自身推理能力和适应能力,最终实现在动态环境中的自主学习和持续进化。

要实现 AI 自我进化,需要:

多智能体协作机制 差异化的个性化模型 自我纠错和评估机制 长期记忆和学习能力

用于 AI 自我进化的 LTM

目前,LLM 主要通过两种记忆机制来管理信息:上下文存储器和基于压缩的参数存储器。虽然这些机制在短期任务中表现出色,但它们在支持长期自主学习和进化方面仍然存在不足。

正如人类使用 LTM 来塑造他们的行为和身份一样,人工智能系统也可以采用类似的方法根据「个人数据」定制其响应和行为。这里,「个人数据」不仅限于个人用户,还包括特定的机构和领域,允许模型根据更广泛的个人背景和需求调整其响应和行为。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

作者深入探讨了 LTM 在 AI 自我进化中所发挥的关键作用,首先在 AI 自我进化的背景下定义了 LTM,并分析了当前 LLM 记忆机制的缺点。然后,作者讨论了通过从人类 LTM 特征中汲取灵感来增强人工智能模型的自我进化能力,旨在构建能持续学习和自我完善的人工智能系统。

该研究将 AI 自我进化中的 LTM 定义为:

LTM 是人工智能系统可以长期保留和利用的信息,使模型能够根据更广泛的背景调整其响应和行为。

这里,「个人数据」不仅限于个人用户,还包括特定的机构和领域,允许模型根据更广泛的个人背景和需求调整其反应和行为。

从数据积累的角度来看:模型和人类都与环境进行广泛的交互,为个性化提供基础数据。与人类相比,人工智能模型可以更有效地与环境交互,并且可以在纯虚拟的数字环境中执行这些交互和迭代。因此,通过设计适当的记忆细化策略,模型应该能够像人类一样积累长期记忆,甚至可能具有更高的效率和规模。

从模型更新的角度来看:人工智能擅长存储和调用海量数据,远远超过人类记忆规模。神经网络通过分布式参数管理这些数据,处理来自不同领域的输入。然而,这种存储相对刚性,缺乏实时更新的灵活性,通常需要重新训练才能实现更新。相比之下,人类的记忆力却非常强。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

LTM 的构建策略

LTM 是对原始数据的有效组织和结构化,而不仅仅是表面上对原始数据进行分类和排序。相反,它是从记忆快速存储和检索以及信息高效利用的角度来设计和优化。通过建立相关信息之间的联系,有效处理数据并重新组织信息,智能体可以快速定位所需的记忆片段,从而提高响应速度和准确性。以下是几种主要的操作方法:

文本摘要 数据结构化 图表征 矢量化 模型参数化

如何利用 LTM 实现模型自我进化?

获得高质量的 LTM 数据后,下一个挑战是如何利用它来增强模型能力并实现模型的自我进化。在使用 LTM 数据以最大限度地提高其有效性和效率的过程中需要解决几个关键挑战,包括:

适应持续更新的 LTM 数据。随着用户 LTM 数据的不断积累,模型必须在学习新信息和保留先前获取的知识之间取得平衡。传统模型通常假设稳定的数据分布,但在实际场景中,新的 LTM 数据可能与早期模式显著背离,导致过拟合或灾难性遗忘等风险。有效处理这些变化对于适应动态 LTM 数据至关重要。

实时学习和高效反馈集成。由于 LTM 数据是动态积累的,模型必须快速适应用户行为的实时变化。新数据的快速集成对于智能助手等应用程序至关重要,其中无缝的用户交互是关键。此外,在完善基础模型时,应考虑隐式(例如点击次数或花费的时间)和显式的用户反馈。实时结合这两种类型的反馈使模型能够不断改进并满足个人用户的需求。

处理数据稀疏性和用户多样性。数据稀疏是持续更新的 LTM 系统中一个常见的问题,特别是对于交互历史有限或零星活动的用户来说,这使得训练模型变得困难。此外,用户多样性也会进一步增加复杂性,要求模型适应个体模式,同时仍然有效地推广到不同的用户组。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

以清华大学团队的 Agent Hospital(智能体医院)作为案例,该团队展示了如何在这个模拟医疗场景中用 LTM 来提升模型的能力,其中包括医疗记录积累、医疗经验反思和基于 RAG 利用 LTM。详见原论文。

基于 LTM 实现模型自我进化的实践

获取 LTM 数据

为了提升模型保留和访问 LTM 数据的能力,该团队全面研究了各种方法,其中包括:

如何收集真实世界的 LTM 数据。 如何获取合成的 LTM 数据,其中包括用真实数据提升合成 LTM 数据的生成过程、使用思维链增强合成 LTM 数据的生成过程、生成训练数据和评估数据等多个方面。 如何使用 LTM 数据,该团队介绍了通过 SFT 和 RAG 使用 LTM、将 LTM 用于医疗领域的智能体自我评估、通过记忆系统来使用 LTM、通过实时权重更新来使用 LTM。

这其中包含一些实验评估和例证,详见原论文。这里我们来重点看看他们开发的基于 LTM 的多智能体框架。

基于 LTM 的多智能体框架

该团队提出一个基于 LTM 的多智能体框架 Omne。

Omne 是基于 AutoGen MultiAgent Framework 深度定制的开发框架,专门用于解决 LTM 在 AI 系统中的实际应用难题。

它扩展了一系列与记忆相关的基础设施,包括统一的记忆模型、多模态消息处理系统以及灵活的记忆存储和操作机制。Omne 的核心模块(Omne Core)如下图所示:

整合长期记忆,AI实现自我进化,探索大模型这一可能性

Omne 的核心目标是提供一套全面的解决方案,使 LTM 能够在实际工程项目中有效部署,从而增强 AI 系统的长期记忆能力和任务处理效率。

基于 Omne Core,该团队还构建了一个 Omne Assistant。

Omne Assistant 的设计目标是帮助开发聊天场景中的 AI 助手,其提供了一个现成的应用层框架。它包括 AI 助手所需的基本功能,使开发人员无需从头开始设计基础组件,就能快速构建功能齐全的聊天机器人。

Omne Assistant 带有一个 Simple Responder,这是一个通用的问答响应器,可以处理基本的用户聊天交互以实现即时通信。此外,该框架还提供了一个 Reactive Responder,它具有高级任务分析和规划功能,使其能够管理需要多步骤推理和任务编排的更复杂的用户请求。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

借助这些内置组件,Omne Assistant 可让开发人员专注于实现自己的功能,从而更快地开发和部署配备长期记忆功能的 AI 助手应用。

在 GAIA 基准(包含 400 多个问答任务的通用 AI 助手测试集)上,该团队对 Omne 框架进行了评估。

为了探索 AI 的边界,他们在 Omne 框架中使用了当今最强大的 GPT-4o 和 o1-preview 模型,同时配备了 4 个工具:网络浏览、Bing 搜索引擎、基于 llamaparse 的文件读取器,一个使用 o1-preview 构建的逻辑专家。

基于这 2 个基础模型和 4 个工具,Omne 在测试集和验证集上分别取得了第一名(40.53%)和第二名(46.06%)的成绩。

整合长期记忆,AI实现自我进化,探索大模型这一可能性

值得注意的是,Omne 在最复杂、要求最高的 3 级问题上达到了 26.53% 的准确率。这证明了其通过利用强大的基础模型(尤其是具有强大推理和逻辑能力的模型)解决现实问题的潜力。

未来计划

该团队并不打算止步于此,他们已经制定了未来研究的计划,方向包括:

1. 如何更好地构建 LTM 数据?

2. 如何为 LTM 设计新的模型架构?

3. LTM 如何帮助用户提出更好的问题?

4. 如何将 LTM 与推理时间搜索相结合?

5. 如何在复杂场景中使用 LTM 实现智能体自我进化?

6. 如何在多智能体场景中使用 LTM?

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-10-29 11:45:06

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...理性的引导下,充分挖掘技术服务于国家治理权力运作的可能性,有助于提升治理行为的效率和精准性。对于作为国家治理工具的大语言模型技术的调度程度,则主要取决于治理者对技术本身及其运
2024-04-08 03:36:00
思必驰天琴语音助手全面接入DeepSeek:中枢大模型驱动车载交互持续进化
...不再局限于简单的指令执行,更可实现场景共建,构建起可进化的智能生态——数据驱动模型迭代,同时结合故障诊断与环境感知实现更智慧的交互和服务。未来,思必驰将持续深化“感知-思考-
2025-03-03 17:09:00
APUS加速实现大模型普惠,让AI应用更简单
...底层建设需求,一方面激发更多服务客户智能应用场景的可能性,让大模型落地应用更简单。APUS转型AI的背后是一场长达九年的技术长跑。从2018年到2023年APUS五年蓄力入局
2023-09-27 11:43:00
「搜索」迈入 3.0 时代
...做不到直接给用户提供答案直到大模型的出现,带来新的可能性,让搜索实现从「提供信息」向「直接获取答案」的转变。引入 AI 后的新搜索,可以通过理解上下文、推理分析,给出精准的答
2024-09-06 09:58:00
基因测序、生物打印机……数字生命其实没那么遥远
...走出电影院,重新思考“数字生命计划”在现实中落地的可能性,虽然难度显而易见但也有迹可循。首先,人的意识本质上是大脑中神经电化学信号的产物,致力于破解大脑神经通路的人类连接体项
2023-02-02 07:00:00
具身智能如何再进化?庞江淼:“虚实贯通”将成推动机器人自主演进的可行路径
...划能力,同时能与人交互、有推理、在未来有更难的自主进化、真正变成具身的大脑,是实验室具身智能团队正在研究的部分内容。“大模型需要通专融合、再虚实贯通,我们要让大模型从数字空间
2025-02-26 14:49:00
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...绿色荧光蛋白。ESM3能够帮助科学家加速工作,开辟新的可能性——我们期待看到它在未来对生命科学研究的贡献。」当数十亿个蛋白质来自进化时间轴上的不同位置,具有丰富的多样性时,模
2024-06-27 09:31:00
...率较低。AI技术的应用一度让行业看到了缩短药物研发的可能性,但另一个通病是,实验反馈并不如自然语言处理反馈那么快,导致AI的产出很难得到大规模的验证和反馈,“AI制药公司没有
2023-06-25 08:51:00
Claude 3大模型引起学界关注,业内人士:或将开启科研新范式
...越的智能水平,为计算机视觉和图像理解应用开辟广阔的可能性。(来源:Anthropic 官网) 据了解,Claude 3 模型家族共有三款模型
2024-03-12 10:59:00
更多关于科技的资讯:
8月28日,秦皇岛市海港区阿尔勃特空间智能(河北)视觉技术有限公司展示区,公司副总经理朱晓明用语音进行操作,要求机器人“鲁班1号”打好对应工位的螺丝
2025-09-10 08:27:00
第六届中国人工智能大赛在厦启动 描绘“数实融合”新图景
扫码了解详情厦门网讯(厦门日报全媒体记者 翁华鸿)在生成式人工智能持续迭代演进、与实体经济深度融合的背景下,一场高规格的人工智能盛会再度在厦门启航
2025-09-10 08:27:00
上海人工智能实验室主任、首席科学家周伯文:“人工智能+供应链”创新成果将在厦涌现
周伯文。(厦门日报全媒体记者 王火炎 摄)厦门正在全力推进国家人工智能应用中试基地建设,一批“人工智能+供应链”的创新成果有望在此加速涌现
2025-09-10 08:58:00
随着中报陆续披露,在今年国内医疗器械行业普遍承压的大环境下,鱼跃医疗交出了一份营收、净利双增的亮眼答卷,其中海外业务同比增长26
2025-09-10 09:17:00
上海时尚之都的形象深入人心,时装之外,上海还是一座美妆之城。今年8月,胡润研究院发布《2025 CBE·胡润中国彩妆品牌TOP50》报告
2025-09-10 10:55:00
当消费市场从规模竞赛转向价值深耕时,一场以民生需求为罗盘的产业变革正加速演进。国家统计局日前发布的数据显示,今年1—7月
2025-09-10 10:55:00
青岛锐智智能装备科技股份有限公司:科技创新引领高质量发展
鲁网9月10日讯(记者 葛万彩)在国际国内市场竞争异常激烈的形势下,青岛锐智智能装备科技股份有限公司靠科技人员自主研发
2025-09-10 11:20:00
AirPods Pro 3 登场了!耳机支持测心率,实时翻译功能国行暂不支持
在今日凌晨举行的“前方超燃”苹果发布会上,AirPods Pro 3正式亮相。这款耳机不仅延续了苹果经典的简约设计和出色音质
2025-09-10 11:24:00
重大变革!iPhone17将仅支持eSIM,不再配备实体卡槽,苹果官网默默下架iPhone16pro
9月10日,在凌晨举行的苹果2025秋季新品发布会上,苹果宣布,“史上最薄”iPhone Air 将在全球范围内统一采用仅支持eSIM的设计
2025-09-10 11:24:00
大众网记者 徐浩 通讯员 李琛 潍坊报道近年来,随着大数据、云计算、人工智能等技术的快速发展,保险行业数字化转型步伐持续加快
2025-09-10 11:49:00
高端成效凸显!深圳首家卡萨帝体验中心开业,套购占比超6成
下半年以来,伴随卡萨帝高端化战略布局的持续深化,全国城市体验中心加速落地,战略成效进一步凸显。8月31日,位于深圳市福田区的深圳首家卡萨帝城市体验中心正式开业
2025-09-10 14:14:00
加加酱油七年减盐路引领行业革新,净利润跃升129%书写转型典范
今日,记者从宁乡市获悉,当中国调味品行业仍在价格战的泥潭中挣扎时,加加食品(002650.SZ)用一份亮眼的半年报,为行业开辟出一条价值增长的新路径
2025-09-10 14:16:00
“佳直播”携手爱奇艺打造明星感4K超高清直播间,助力内容电商激活商业价值
2024年,我国直播电商市场规模已达5.8万亿元,用户规模突破5.97亿,业态早已从实物商品销售扩展至本地生活服务、虚拟内容付费等多元领域
2025-09-10 14:17:00
掌阅科技17周年庆,全面布局多元内容,探索数字化创新新机遇
2025年,掌阅科技迎来成立17周年,正式发布全新使命“让创作点亮美好时光”,同时启用全新Slogan“悦享美好时光”
2025-09-10 14:18:00
中新经纬9月10日电 据中国移动官网消息,10日中国移动发布《关于部分国际漫游套餐产品更新调整的公告》称,自2025年9月16日0时起
2025-09-10 14:41:00