理解并超越大模型需要数学“应战”

本文转自：文汇报

清华人工智能研究院孙茂松表示，三五年内有望破解智能涌现之谜

理解并超越大模型需要数学“应战” ■本报记者 许琦敏

瓦特改良蒸汽机后大约100年，热力学三定律才阐明其机理。眼下，ChatGPT等大模型所表现出来的智能涌现，需要多少年才能被解释清楚？昨天举行的浦江基础科学发展论坛上，清华大学人工智能研究院教授孙茂松表示，现在的AI（人工智能）绝对不会再给我们100年，理解大模型需要基础数学的加入，而一旦破解其背后的机理，就有机会超越现有大模型，建立下一代AI的理论和模型。

然而，大模型庞大的数据量对应用数学家提出了极大挑战。尽管目前世界上敢于“迎战”的数学家还为数不多，但孙茂松仍坚信，不出三五年，大模型智能涌现的机理研究一定会有突破。

智能涌现挑战全球数学家

只需输入几个例子，ChatGPT就能生成一个令人基本满意的答案。这种大大超出人们预期的结果，究竟是如何产生的？这连OpenAI团队也没弄明白。

目前，学界将ChatGPT的表现归为智能“涌现”。所谓涌现，通俗而言是指当一个个孤立的能力以某种方式组织起来，在达到一定规模后，突然爆发出非常强大的能力。人脑就是一种智能涌现的产物。

2020年GPT3发布时，大模型的智能涌现就已引起了学界关注。孙茂松认为，要阐释其背后机理，需要基础数学的介入，“它需要数学家的深邃理解力，抽提大模型背后的硬核本质”。对大模型的机理认识一旦突破，人工智能将进入一个全新时代。

然而，目前全球投入到这一挑战中的数学家寥寥。孙茂松认为，这是因为由工程驱动的AI神经网络规模已经达到了“无边无际”的程度，数学家从未解过如此庞大的方程组，而且这一问题与经典数学完全不同。

不过，他也强调，哪怕一时不能搞清大模型背后的机制，数学家的加入也能为AI发展提出新视角，创新AI现有体系。

语料耗尽将让大模型发展停滞？

训练自然语言大模型，需要不停“投喂”语料。当人类现有语料耗尽，大模型的发展会否停滞？孙茂松认为，目前大模型对语料的利用仅仅停留在粗放的简单抓取阶段，AI对语料信息的深层解析与应用还有待进一步开发。例如，如今ChatGPT只能识别网页上的文本，但对标题、小标题等代表逻辑的格式信息，还不能分辨。

下一代自然语言大模型的发展方向是要让机器能“自然而靠谱地说话”。孙茂松说，千万不要小看了“说话”这种能力，正是语言能力的发展，让智人从原始人类中脱颖而出。机器能够像人一样使用语言，“可以说开创了世界五千年以来未有之格局”。

让机器“靠谱说话”的关键，在于让语言模型的输出结果与现实与事实对齐，避免“一本正经地胡说八道”。这背后需要付出极为艰辛而巨大的努力，“目前，国内外很多初创企业都在致力于这方面的开拓”。

决胜A I未来需要顶尖人才

ChatGPT爆火，国内各大模型纷纷冒头，呈现出“百模大战”之势。孙茂松认为，这是我国在AI领域实力的体现。尽管最后不少模型都会在竞争中淘汰，但仍有相当数量的大模型会在垂直领域中找到应用场景，推动AI技术的落地与发展。

在清华大学人工智能研究院，孙茂松带领团队在语言模型的垂直细分领域进行了不少示范性尝试。比如，开发生成古诗的“九歌”小程序、国内首款汉语反向词典wantword，以及与清华中文系合作开发古文大模型等。

“尽管大模型背后的机理尚未搞清，但这并不妨碍其在实际应用中的迅速发展。”在孙茂松看来，未来要在自然语言大模型领域占据先机，就必须培养出真正的世界顶尖人才，“最前沿之争就是顶尖高手之争，人才厚度决定了技术高度，而应用决定了AI的广度”。