阶跃星辰李璟：多模态是AGI的必经之路，视觉模型可按语言模型路线实现大一统

5月17日，由搜狐主办的2025搜狐科技年度论坛在北京盛大开幕。多位院士、科学家与产业界人士齐聚一堂，激发智慧的深度碰撞，奔赴科技的星辰大海。

本届论坛线上线下结合，开启全天的思想盛宴。在上午的线上直播中，阶跃星辰副总裁李璟发表主题演讲《迎接视觉领域的GPT-4时刻》，分享了大模型技术和应用层面的思考。

他表示，今年以来大模型厂商密集的模型发布，意味着追求智能的上限仍然是当下最重要的事情。“我们始终认为多模态对AGI的实现非常重要，是实现AGI的必经之路。”

对大模型的下一步发展，李璟表示，阶跃星辰主要会在两个方向发力。一是在预训练的基础上加上强化学习，提高模型的推理能力。“强化学习还在早期，还会延续一长段时间。”

第二个趋势是多模的理解生成一体化。李璟认为，文本领域已经实现生成理解任务的统一，语言模型的技术路线也已收敛，视觉模型完全可以按照类似路线往前走。

“第一步就是做海量的图片视频的预训练，实现predict next frame（预测下一帧），这样生成出来的视频会比Sora的效果要好很多；再加上指令遵循，视觉任务就完成了大一统。”

在AI应用方面，阶跃星辰看好Agent前景。“追求AGI是我们的初心，我们会坚持基础大模型的研发。”李璟表示，阶跃星辰会坚持进行多模态的探索布局，最终形成从模型到Agent、从云侧到端侧的生态体系。

以下是演讲全文：

各位朋友大家好，我是阶跃星辰李璟，非常荣幸能够有机会参加2025搜狐科技年度论坛，代表阶跃分享我们最近在大模型技术研发，还有应用方面的一些思考与实践。

从2月份以来，国外头部的几家基础大模型厂商你追我赶，密集发布了一系列模型。我们可以清楚地感受到一个趋势，那就是追求智能的上限仍然是当下最重要的事情，也可以看出出主流的技术脉络和共性规律。

从宏观上说，模型的发展是沿着一条智能演进的路线在往前进化。两年前，阶跃成立之初为通往AGI规划的技术路线图，包括了三个阶段：模拟世界、探索世界和归纳世界。

今天我们到底在什么样的位置？结合这波密集的发布，眼下的发展呈现出两个趋势，第一个是从模仿学习到强化学习，第二个是从多模态融合走向多模态理解生成一体化。

在阶跃提出的路线图里面，模拟世界的主要范式是模仿学习，就是把互联网上的所有的数据都喂给大模型，通过预测下一个token这样的任务来学习海量数据中的结构和特征。

当学会表征世界之后，下一步就要培养机器解决问题的能力。对复杂问题的求解，人脑需要系统2的能力，就是慢思考的能力。这也是最近的推理模型，如OpenAI的o1、o3 以及DeepSeek-R1背后所采取到的技术。

智能的下一个境界，我们认为是机器通过自主学习，主动发现人类尚未发现的物理规律。这就有点像苹果砸在了牛顿的头上，发现了万有引力的定律一样。这样AI可以在生物、核能、材料、量子等各个领域和科学家一起完成创新，我们把这个阶段称为归纳世界。

去年OpenAI流传出的AGI的五个level分别Chatbot、Reasoner、Agent、Innovator和 Organization。这五个level和阶跃提的三阶段的想法基本一致，只是表述有所不同。OpenAI的系列代表模型，基本覆盖了这个路线图的各个关键节点。

同时，随着模型能力的不断增强，模型应用也从早期的Chatbot聊天机器人，到构建智能体Agent来完成复杂的任务，并且进一步从数字世界跨到物理世界，比如和智能终端和设备的结合。应用也是跟着模型能力走的，有什么样的模型决定了什么样的应用可以成熟和繁荣。

阶跃的发展也基本绕围绕着这样的路线图进行，过去两年已经建成了 Step系列的通用大模型矩阵。我们的基础模型可以分成语言模型和多模态模型，多模态又涵盖图像、视频、声音各个模态，每个模态按功能可以细分为理解模型和生成模型。

所以阶跃形成了综合全面、多模领先的基础大模型矩阵，我们始终认为多模态对AGI的实现非常重要，是实现AGI的必经之路。

首先，AGI对标的是人类智能。人的智能是多元化的，不仅来自于语言的符号智能，还包括视觉智能、空间智能、运动智能等，这些智能必须通过视觉和其他模态进行学习，任何方面出现短板都有可能延缓AGI的进程。从应用角度来看，无论是垂直领域的应用，还是C端应用，多模态往往也必不可少。

阶跃模型下一步的发展，有两个明显趋势。第一个趋势就是在预训练的基础上加上强化学习，激发模型在推理的时候产生长思维链，从而极大提高模型的推理能力。推理模型已经从一个趋势变成一个确定性的范式，阶跃预计会在未来两三个月发布满血版的推理模型Step-R1。

我们认为强化学习还在早期，还会延续一长段时间，比如推理效率的提高、奖励函数的进一步泛化、合成数据进行预训练等等，都是需要解决的热点问题，阶跃也会在这方面持续投入。

除了语言模型之外，阶跃还率先把推理能力引到了多模态领域，确切的说是视觉理解领域。引入推理能力和长思维链能力之后，视觉模型就可以更加精准的理解物理世界，很多应用都需要这样的能力。

除了推理模型之外，第二个趋势是多模的理解生成一体化，更准确地说是视觉领域的生成理解一体化。什么叫生成理解一体化？就是理解和生成用一个模型来完成。

文本领域已经做到了理解生成一体化，但在视觉领域理解需要理解模型，生成用的是生成模型。为什么一定要做生成理解一体化？因为需要理解模型来预测内容，生成需要理解来控制。

从另一个角度说，理解需要生成来监督。就像费曼说，What can I not create I do not understand。如果可以生成的话，那就说明真的理解了。

ChatGPT模型之所以产生了跨时代的理解能力，就是因为它用predict next token这样生成的任务来做监督信号，而在视觉领域并没有出现这样的predict next frame模式。到今天为止，视觉领域也并没有出现大规模的预训练来刻画物理世界的规律。

为了进一步说明理解生成一体化的这个重要性，可以先看语言模型的技术路线发展，它经历了三个重大的技术节点。首先是20117年推出了Transformer，意义是在于scalable的文本理解生成一体化模型。2020年GPT -3被训练出来了，它用互联网海量的文本数据做了预训练，从此进入到了大语言模型时代。

2022年的InstructGPT，也就是GPT -3.5，解决了指令跟随的问题，从此NLP的任务实现了大一统，一个模型搞定了所有NLP的任务。再往后就是24年底推出了推理模型，可以用长思维链思考处理复杂问题。

下一步是什么？可能是自主学习。所以，语言模型的技术路线已经收敛，视觉模型完全可以按照这个样板一步步往前走。但视觉模型在第一步就被卡住了，现在只能理解生成各自发展。

要做好视觉的理解生成一体化，第一步要做做海量的图片视频的预训练，也就是说可以 predict next frame，这样生成出来的视频会比Sora的效果要好很多。再加上指令遵循，那么视觉任务就完成了大一统，一个模型搞定所有视觉任务。

接下来做时空推理，这就会使得自动驾驶和机器人这样的应用能够上一个大台阶。当前自动驾驶和机器人问题都是泛化性不足，没见过的东西就不会做，但人如果没有经历的话，人会脑补或者演绎，或者去尝试各种action的各种结果，最后选择一个更好的。这个就需要理解生成一体化，最后加上3D 模型，加上自主学习的进化能力，我认为就是世界模型了，到了这一天也就是AGI来临了，所以多模态是AGI的必经之路。

最近在理解生成一体化上，GPT-4o的最新版是一个很重大的突破，阶跃这方面更先进的技术会在未来几个月发布。

在应用方面，眼下最热的应用概念就是Agent。很多人也会认为2025年会是Agent 的元年，为什么Agent会在眼下变得火热？我想这跟 Agent的爆发需要的两个必要条件有关，一个是多模态的能力，一个是慢思考的能力，这两个能力在2024年都取得突破性的进展。

基于自主研发的强大模型矩阵，我们跟合作伙伴一起打造了垂类的Agent以及智能终端的Agent。比如我们跟OPPO合作打造了手机Agent，跟吉利合作展示了最新的智能座舱。此外，还和具身机器人公司合作，这块目前还比较早期，需要大家非常深入密切的合作。

最后，表达三句话，第一，追求AGI是我们的初心，我们不会改变，会坚持基础大模型的研发。第二，在整个竞争格局里面，阶跃差异化的特点就是多模态能力，不仅能力在行业里面领先，也始终走在探索的前沿方向，这里面机会巨大。

在应用层面，阶跃也是差异化的道路，就是携手合作伙伴发力智能终端的Agent，最终形成从模型到Agent，从云侧到端侧的生态体系。我们认为软硬结合才能更好地理解用户的需求，完成用户的任务。

除本篇外，搜狐科技还将通过多种方式全方位呈现嘉宾们关于前沿科技发展的洞见和思考。

更多精彩内容，请关注2025搜狐科技年度论坛专题报道。

2025搜狐科技年度论坛专题PC端

2025搜狐科技年度论坛专题WAP端

文章来源：顶端新闻

文章链接：https://static.dingxinwen.com/dd-sharepage/detail/index.html?id=10496006#/返回搜狐，查看更多