百度文心大模型4.0技术进展

10月17日，以“生成未来”为主题的百度世界2023在北京首钢园举办，百度首席技术官王海峰解读文心大模型4.0背后的关键技术和最新进展。王海峰表示，文心大模型4.0的理解、生成、逻辑、记忆四大能力都有显著提升，9月已开始小流量上线，过去一个多月效果又提升了近30%。8月31日文心一言面向全社会开放至今，用户规模已经达到4500万，开发者5.4万，场景4300个，应用825个，插件超过500个。

文心大模型4.0首发，理解、生成、逻辑和记忆能力显著提升

据了解，百度在3月16日发布知识增强大语言模型文心一言。文心一言从数万亿数据和数千亿知识中融合学习，得到预训练大模型，在此基础上采用有监督精调、人类反馈强化学习、提示等技术，具备知识增强、检索增强和对话增强的技术优势。

文心一言的基础模型5月升级至文心大模型3.5，在基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等方面创新突破，取得效果和效率的提升。

今天发布的文心大模型4.0，相比3.5版本，理解、生成、逻辑、记忆四大能力都有显著提升。其中理解和生成能力的提升幅度相近，而逻辑和记忆能力的提升则更大，逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。百度基于文心大模型研制了智能代码助手Comate，从内部应用效果来看，整体的代码采纳率达到40%，高频用户的代码采纳率达到60%。

据悉，文心大模型4.0在9月已开始小流量上线，过去一个多月效果又提升了近30%。训练算法效率自3月以来已累计提升3.6倍，周均的训练有效率超过98%。文心大模型4.0基本技术架构与3.0和3.5版本一脉相承，并在多个关键技术方向上进一步创新突破。

在万卡算力上运行飞桨平台，通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持了大模型的稳定高效训练。建设了多维数据体系，形成了数据挖掘、分析、合成、标注、评估闭环，充分释放数据价值，大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优，有效节省了训练资源和时间，加快了模型迭代速度。

此外，文心大模型4.0在输入和输出阶段都进行知识点增强。一方面，对用户输入的问题进行理解，并拆解出回答问题所需的知识点，然后在搜索引擎、知识图谱、数据库中查找准确知识，最后把这些找到的知识组装进Prompt送入大模型，准确率好，效率也高；另一方面，对大模型的输出进行反思，从生成结果中拆解出知识点，然后再利用搜索引擎、知识图谱、数据库，以及大模型本身进行确认，进而对有差错的点进行修正。

在强大的基础大模型的基础上，百度进一步研制了智能体机制，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并一定程度上将思考过程白盒化，让机器像人一样思考和行动，自主完成复杂任务，在环境中持续学习实现自主进化。

文心一言助力国图馆藏文化资源活化，升级国家跳水队AI辅助训练系统

百度已经与中国国家图书馆展开战略合作，发挥各自的资源、技术和服务优势，共同推动文化资源和知识服务智能化，普惠大众。国家图书馆拥有全球最大的古代方志，利用文心大模型学习古代方志与家谱数据，帮助全球华人获取更多寻根线索。王海峰现场分享了海外华人赵佩娟延续祖父乡愁，成功“寻根”的故事。

中国国家跳水队教练、奥运五金王陈若琳和奥运冠军全红婵、陈芋汐、王宗源也来到世界大会现场，与王海峰热切互动，解密梦之队训练“独门绝技”。基于文心一言等百度大模型技术，中国国家跳水队AI辅助训练系统全面升级，通过从海量数据和知识中学习，掌握了丰富的跳水知识，理解和执行教练员和运动员的复杂指令，及时提供准确信息，并对动作实时打分、精准量化分析，提供最有价值的指导信息，助力中国国家跳水队高效训练。

现场，陈若琳受中国游泳协会主席周继红委托，授予百度为“中国国家跳水队人工智能合作伙伴”。陈若琳表示，中国国家跳水队与百度从2019年就开展了深入的技术合作，携手走过了东京奥运会、福冈世锦赛、杭州亚运会，目前正在备战明年巴黎奥运会。“感谢百度一直以来提供的技术支持与服务，未来双方将携手持续用人工智能技术帮助跳水队智能训练，通过科学训练提升竞技水平。”

百度人才培养星河计划发布，再培养500万大模型人才

王海峰现场公布了百度人工智能人才培养的最新数据，百度在2020年提出5年为全社会培养500万AI人才，截至目前，百度已经培养了420万AI人才。

当下，大模型成为人工智能发展的热点方向，进一步加速产业变革，AI人才培养也需与时俱进。王海峰发布了百度人才培养星河计划，他表示，“我们将与产学研各界密切合作，深化产教融合，为社会再培养500万大模型人才，让人工智能科技的‘创新之花’，结出更多‘产业之果’，服务国家战略，服务社会发展，服务人民福祉！”