百度首次现场演示大模型微调过程，「文心一言」调用成本下降90% | 最前线

文 | 周鑫雨

编辑 | 苏建勋

在大模型“扎堆”发布的当下，市场亟需更直观的方式，对模型能力做出判断。

2023年3月16日，在百度文心一言的发布会上，模型采用的是录播Demo的演示形式。在36氪的专访中，百度CEO李彦宏给出了理由：

“一是生成式AI每次给出的答案不一定一样，会带来不确定性。二是真正说服我的理由，是全球所有类似发布会，没有一个是现场演示的，都是录好的。如果大家都可以，那我们也OK。”

5月9日，在时隔一个多月的技术交流会上，百度一改保守的风格，带来的是对“文心千帆大模型平台”能力的现场演示。

百度于2023年3月27日推出的文心千帆大模型平台，是集合了文心一言服务调用、第三方模型训练、调优服务和工具的一站式平台。其服务主要分为公有云服务和私有化部署两部分，公有云服务主要包括文心一言推理能力调用、模型微调、模型托管，私有化部署则包括软件授权、软硬一体和租赁服务。

此次现场演示，百度主要展现了文心千帆的推理能力调用和模型微调两部分。

文心一言Sugar现场生成了销售额的饼图。

从演示结果来看，文心一言下属的数据可视化应用Sugar能够对结构化的数据集进行理解，并快速输出饼图。面对模型无法理解的“画折线图”需求，百度程序员则通过文心千帆大模型平台的微调功能，导入100条标注数据后对Prompt进行了现场改写，从而实现了折线图功能。

文心千帆支持模型微调。

这也意味着，文心千帆已经能够通过仅100条左右的少量标注数据，高效完成模型的微调及定制化。百度智能云AI与大数据平台总经理忻舟表示：“它（文心千帆）通过图形化的界面，为大家提供非常好的大模型训练推理和应用的平台——我们不需要去了解代码，也不需要做命令行的操作，我们只需要关注到最核心的业务数据、业务应用，在文心千帆平台上去做各种训练和调优。”

与此同时，AI时代的“向内革命”也正在百度内部悄然发生，百度搜索、推荐、地图、如流、小度等产品已经接入了文心一言。

百度内部办公软件“如流”上线了AI小助手。关于行业大模型训练成本，小助手给出的回答是“10万-50万卡时”。

百度集团副总裁侯震宇表示，对客户而言，成本和模型性能才是评价大模型的两项指标。

“训练一个大模型，动辄三个月，一两千万美元，假如每一个企业都需要付出这么高的代价，门槛那么高，显然百度也不会进入这个市场。”他表示，即便从头训练模型的成本依然高昂，但是使用大模型、以及基于大模型底座训练和微调模型的成本已经有显著的降低，“现在调用文心一言的成本，已经降低到模型刚发布时（3月16日）的10%”。

近日谷歌内部流出的一份文件表示，未来OpenAI和谷歌等厂商开发的闭源大模型将不可避免地受到开源模型的冲击。有其随着Meta自研的大模型LLaMa泄露，围绕这一基座的开源模型生态正在迅猛地发展。文件还提到，企业可以免费使用开源模型，并且更加灵活可控。“我们没有壁垒，OpenAI也没有”。

“大家觉得大模型成本非常高，是因为大模型算力成本高，其次是大模型数据成本。开源模型也绕不开大量的GPU，所以并不是开源成本一定低。”侯震宇则向36氪给出了相反的答案。

他认为，免费开源模型的调用成本并不意味着更低：“一方面，一般企业不见得能够用得起两三千张集群卡，另一方面是不一定能够用好，在这么大的集群量中如果出现了BUG很难调整，需要有整体的调优服务能力。大模型贵是因为量大且训练时间长，在成本这方面，最终要看是否有整体端到端的成本控制能力，这样一定会比纯粹去买成本要低。”

随着大模型的落地逐渐从“摸石过河”走向实践的“中场战事”，低成本和高性能将是不同大模型厂商不断演练的课题。

36kr制图