智谱AI CEO张鹏：智谱AI的GLM-130B是达到世界靠前水平的自主研发产品

“如果说一年前的那一天我们是在爬山，那么经过了这一段时间的攀登，我们有了更多的积累，现在我们可以比较自豪地说，我们已经积累了非常丰富的研发经验和积淀。”3月14日，在智谱AI媒体小型沟通会上智谱AI CEO张鹏表示，站在当时的那个时间点看，智谱AI的 GLM-130B已经达到了世界比较靠前的水平，但更重要的一点是完全自主可控的，是自己从零到一研发的。

3月14日，由央视网“人人都爱中国造”品牌助力行动和智谱AI联合主办的“智领，万象新生”智谱AI媒体小型沟通会在北京搜狐网络大厦举办。总台央视网主持人常婷介绍，“人人都爱中国造”品牌助力行动是2020年在国家相关部委指导下发起的，以“支持国货，赋能品牌”为核心。“中国制造”到“中国智造”的创新热潮方兴未艾，中国创新的的浪潮已经席卷到每一个人的身边。在不久前刚刚召开的全国两会上，“人工智能+”这个概念被首次写入到了政府报告当中。新质生产力引擎开启，万象新生时代正在来临。活动还通过总台央视网、小央视频视频号以及智谱AI视频号同步直播。

大模型（人工智能）三个阶段

首先，智谱AI的CEO张鹏向大家回归了大模型（人工智能）三个阶段：从2017年谷歌提出Transformer开始迅速席卷了整个人工智能领域的研究和产业，成为自然语言处理等相关研究的一种最主要的方法，2018到2020年这段时间先后出现了像谷歌的BERT、GPT-1/GPT-2/GPT-3、T5等基于大规模无标注数据自监督学习方法的预训练模型。当时尤其是BERT在十多个自然语言理解任务当中大大地超越传统的机器算法的精度，掀起了一种全新的研究范式；一直到2019年GPT-2的实现，它提供了自然流畅的文本内容的生成能力，彼时GPT-2的应用Talk2Transformer确实让大家很惊艳，当然对比现在的ChatGPT以及我们自己的ChatGLM等一系列的应用来说还是比较粗糙的，但正因为这些技术坚定了我们投身生成式人工智能的决心；到2020年谷歌的T5将自然语言的翻译、分类、回归、摘要等一系列任务统一成了一个简单的Text-to-Text的任务。

张鹏强调，可以说2018-2020是大模型的原始算法创新的一个阶段。也是在这个阶段里边，智谱AI也从0到1开发了自己的具有完全独立知识产权的预训练模型，我们叫它 GLM(General Language Model)，它采用了自回归填空的方式，综合了GPT和Bert这几种优秀的预训练框架的优点。

大模型与小模型的讨论

张鹏认为，在当时国内学术界和产业界都对大模型的发展和产业化没有形成共识，有很多的讨论，甚至很多人提出成本这么高，我们不应该发展大模型，而应该专注于发展所谓的“小”模型。

“说实话在那个时间段，我们自己内部也有很多的思考和讨论，也有一些争论，正如大家所知，这件事情的投入成本非常高、非常大的，作为一家刚刚建立不久的创业型企业，我们如何来支撑这么大的资源，而且我们的研发人员团队是否能支撑这样一个任务？”张鹏说，外部市场对于大模型的认知少，对这个概念还非常陌生，各方面都处于一个非常艰难的情况和境地，换而言之，其实当时的智谱是有那么一点孤注一掷的意思，大家的压力，尤其是研发人员的压力是非常大的。大家最近可能也听说了 OpenAI 团队内部的一些非常卷的故事的一些情况，其实我们当时的情况甚至比他们更严重，非常类似。

GLM-130B唯一来自亚洲被列入评测的对象

张鹏说，2022年我们在训练自己的千亿模型的时候，我们的研发团队、我们的算法工程师甚至是7*24小时的盯着我们的GPU集群，凌晨三点多的故障，我们可以在5分钟之内我们的算法人员先发现，然后通知远程的运维人员，让他们及时解决问题，10分钟、15分钟之内就能解决这样的一个掉卡甚至是硬件故障的问题，这是非常难的一件事情，也都是我们亲身经历的经过。

“所以在2022年我们推出并且开源了基于GLM算法训练的千亿基座模型GLM-130B，这是我们研发团队心血的积累，当时也引起了非常广泛的关注，尤其是在国外，包括像斯坦福、谷歌、OpenAI、Apple、Meta这些非常知名的研究机构和大型的科技公司都对我们的模型进行了深入的研究、分析和评测。2022年11月斯坦福大学发布了一个大模型的评测报告，报告的名称缩写叫HEOM，对全球的几十个开源和闭源的模型进行了深入的评测，有幸我们的GLM-130B作为一个唯一来自中国，甚至唯一一个来自亚洲的这样一个模型被列入评测的对象，并且从评测的结果上来看，在一些指标，比如准确性、公平性等很重要的核心指标上与当时最先进的GPT-3 175B的模型是持平或者是接近的，在有一些特殊的指标，比如说像鲁棒性、校准偏差和无偏性等方面甚至要比它们表现的更好。”张鹏介绍说，这个成绩一出来，整个团队都非常激动。我们八九个月的辛苦得到了回报，也证明了我们团队有这个能力、有这个实力、更有这个激情去做到这样一件事情。所以站在当时的那个时间点看，智谱AI的 GLM-130B已经达到了世界比较靠前的水平，但更重要的一点是什么？是这一切是在我们完全自主可控的，是我们自己从零到一研发的。

ChatGLM是国内最早可以线上测试使用的千亿级的对话模型

张鹏介绍，2022年11月30日OpenAI发布了ChatGPT真正让大家认识到大模型能做到什么样的事情，大模型也开始出圈，扩散到整个社会、全球，让所有人都认识到大模型。一夜之间，几乎所有人都对必须发展大模型都达成了一个高度的共识。大模型的发展不再仅限于模型技术的发展和模型训练本身，更重要的是如何实现模型的产业化应用，这个问题已经提上大家的日程。

“大模型开始在各个领域尝试落地生根，在金融、互联网和教育等众多行业当中开始落地，也得益于我们GLM-130B基座模型的优秀能力，我们很快在2023年2月份就研发出了第一代ChatGLM，这也是我们去年3月14号发布的这个产品的基座，这应该是国内最早可以线上测试使用的千亿级的对话模型，基于它我们开发了刚才大家看到的演示当中的智谱清言这样一款C端的应用，并在8月第一批通过了国家的备案认证，正式的面向公众上线使用。”张鹏说，这个是我们在2023年取得的一些成绩，我们实现了2000+生态合作伙伴、1000+大模型规模化应用、200多家企业跟我们进行了深度的共创，解决它们的问题，切切实实的、潜移默化的在改变着每一个客户的业务、效率，甚至更深度的改变着客户的业务范式和组织架构，这是我们所希望看到的。