高文院士：鹏城实验室已训练3个大模型，今年底将拥有两万多块卡

出品 | 搜狐科技

编辑 | 梁昌均

6月5日消息，在今日举办的2024全球数字经济大会数字安全高层论坛暨北京网络安全大会战略峰会上，中国工程院院士、鹏城实验室主任高文发表演讲，分享了鹏城实验室在打造大模型平台上的进展。

他表示，大模型训练首先需要一个平台。“现在要想训练一个大模型，需要有几千块卡，甚至上万块卡。”

他介绍到，鹏城实验室在2020年就搭建了这样一个平台——鹏城云脑2，拥有4000块卡，具备有1000P的算力，专门面向大规模人工智能模型训练的底座。目前还在推进云脑3的建设，预计今年年底前应完成，其将拥有两万多块卡。

“这些平台为鹏城实验室做大规模的人工智能模型的训练提供了基础。”高文表示，“我们有了机器，整理收集购买了非常多的数据，可以通过不停的迭代训练，使得模型的效率越来越高，性能越来越好。”

不过，高文表示，目前国内已经有两三百各种各样不同的模型，鹏城实验室并不是要参与这些大模型的竞争，模型训练完后也不是说放在仓库里，而是希望把它交给社会来使用。

目前，鹏城实验室已经训练了三个大模型，包括70亿参数、330亿参数和2000亿参数等不同规模的模型，其中2000亿参数模型花费资源最多，训练阶段用四千多块卡跑了七个月，非常费卡费时。

高文还表示，从这些模型训练也得到很多经验，通过摸索印证了规模定律（Scaling Law）。“要想做一个好的模型，一定规模要大，机器的规模要大，数据的规模要大，只有规模到了才能做出好模型。”

他还提到，现在要想训练出一个好的模型，非常费钱，要训练一个千亿参数的模型，基本就是千万美元的花费。要想训练一个万亿级的模型，大概需要1亿美元。

“我们2000亿的模型大概花了5亿人民币，也就是几千万美元的成本，要是万亿模型，那肯定接近10亿人民币或者更多，才能训练好。”高文表示，任何说花很少一点钱就能训练出来，那肯定是做了很多简化，简化以后才能训练出来，但是性能可能要打折扣。

除了模型，高文表示，鹏城实验室还研发了一个33B的长窗口模型。

为什么要做长窗口模型？他解释到，因为现在一般模型，输入的向量窗口大概是4K到8K，但一本书是几十万字，要想训练，就得每次按照8K把一本书要分成很多段，然后送去训练。

由于大模型训练主要是注意力机制，即注意力参数的训练，只要两个东西相关，就可以发生一个关联。“这是在没有截断的前提下，如果把数据截成8K，第二个8k进来了以后，和第一个8K就没有直接关系，这种关联度或注意力参数就不对。”

高文提到，现在也有很多办法去解决这个问题，但比较理想的还是一次性把一本书全都送进去，这就要求窗口特别长。

“这也会带来另外一个问题，要求内存特别大等，所以训练长窗口是大家都很关注的问题，现在做长窗口的创业公司估值很高。”高文称。

他透露，鹏城实验室33B的长窗口模型是和百川智能联合研发，总体来说性能比一般的窗口效果也会更好。

高文最后表示，鹏城实验室目前正在通过开源的方式，通过开源联合体推进合作，实验室资源现在已经可以在网站去自由获取，包括和不同的智能计算中心联合，推动算力的开放协调，并通过设立基金的形式去鼓励自由探索。返回搜狐，查看更多

责任编辑：