百度云升级模型服务，百度版GPTs即日开放 | 最前线

文 | 周鑫雨

编辑 | 邓咏仪

2023年12月20日，在2023百度智能云·智算大会上，百度集团副总裁侯震宇提出了建立繁荣AI原生应用生态的3个关键组件：大模型、智能计算、AI原生应用开发新范式。

百度云智算大会

他提到，在AI时代，应用技术、AI技术、IT基础设施三条平行的发展线终于交汇融合：在应用层，大模型理解、生成、逻辑、记忆的独特能力会催生AI原生应用研发新范式，整个应用技术栈、数据流和业务流都将被改变；在模型层，大模型会成为通用的服务能力，也就是MaaS（Model as a Service）；在算力层，MaaS依赖的新型IT基础设施也将进一步在底层颠覆现有的云计算市场格局。

而百度云对模型服务的升级，也主要围绕大模型、智能计算、AI原生应用开发新范式三个层面。

1、在大模型层面，围绕建设模型服务生态、模型训练降本增效，千帆大模型平台做了一定的升级：预制的基础/行业大模型数量增长至54个；发布数据统计分析、数据质量检查等功能；推出自动化+人工的双重模型评估机制；推出批量计算等灵活计价方式。

2、在智能计算等基础设施层面，百度发布了百舸异构计算平台3.0、智算网络平台，以及百度云原生数据库GaiaDB 4.0。

“以前传统和应用互联网应用都是基于CPU（中央处理器），现在AI原生应用还要用CPU，但是它的负载大量迁移到了异构或者GPU（图形处理器）上面来，从底层算力再到AI应用的核心能力都变成了模型，而不是基于某一个固化下来的逻辑能力。”在12月12日的媒体会上，侯震宇表示。

AI时代给云计算带来的变革在于，如何能更高效的利用模型成为核心能力。大会上发布的百舸异构计算平台3.0能够支持万卡级别的超大规模AI集群计算。相比自建智算基础设施，百舸能将模型训、推吞吐分别最高提升30%和60%。在资源利用层面，百舸3.0将集群有效训练时间占比提高到了98%，网络带宽有效利用率提高到了95%。

百舸3.0

智算网络平台则支持百度和第三方智算节点的算力资源的灵活调配。而GaiaDB 4.0主要实现了数据的跨机查询，并针对不同的工作负载推出了列存索引（支持小规模数据的高效检索）和列存引擎（最大可支持PB级数据的复杂分析），可以提升不同规模数据的查询速度。

“对于模型而言，已经没有‘Bug’的概念了，而是全部基于数据库，比如怎么处理数据流、清洗数据，或者用新的一组数据集的分布去解决所谓的‘Bug’。数据库的重要性会变得更高。”侯震宇在媒体会上表示。

3、在AI原生应用研发范式层面，百度从即日起面向所有用户开放了AppBuilder。

AppBuilder是百度在2023年10月17日在世界大会上发布的AI应用开发平台。AppBuilder的服务主要由组件层和框架层构成。所谓的组件层，是将特定的底层能力封装到一个个组件中，再以组件的形式对外提供服务。框架层的作用，则是将封装好能力的组件进行串联，让串联的组件能完成特定的任务。

AppBuilder

在组件层，AppBuilder提供了多模态AI能力组件（如文字识别、文生图等）、基于大语言模型的能力组件、基础组件（如向量数据库、对象存储）。在框架层，AppBuilder提供了检索增强生成（RAG）、智能体（Agent）、智能数据分析（GBI）等AI原生应用框架。

针对不同技术背景的开发者，AppBuilder分别提供了低代码态和代码态两种产品形态。低代码态产品适用于非技术背景的开发者以及通用的开发需求，用户只需要简单点选就可以定制和上线AI应用。针对具有深度开发需求的用户，AppBuilder也提供包括SDK、开发环境、调试工具、示例代码等各种代码化的开发套件和应用组件。

2024年，在侯震宇看来，是AI生态发展的关键一年。一方面，算力推理层和模型训练工具链的优化，将是2024年的重点。他表示：“2024年我觉得算力的整体供应不确定性或紧张程度较大，所以如何能够更有效使用算力资源，是一个大家都要面临的问题。”

另一方面，侯震宇将2024年视作AI原生应用的元年。他告诉36氪，2023年更像是模型训练的元年，所接触的客户还处于逐步理解大模型的阶段。“最终AI赋能应用在明年开始逐步能够出来，今年才刚刚开始。”他说，“现在也有很多创业公司想用大模型做很多事情，这类用户的体量也很大，是最早一波吃螃蟹的人。这一票人将来对模型、对算力的消耗，我们相信都是最大的。”

模型厂商的收入高点，也将随着AI应用的爆发而到来。侯震宇对36氪表示，模型的收入，与模型的调用联系在一起：“大模型赚钱或者是云计算通过大模型来赚钱，一部分是模型生产，另外更多还是在应用层面调用模型服务的收入和产生算力的钱——这在将来会是更大的规模。”

以下是百度集团副总裁侯震宇的访谈（内容略经编辑）：

记者：最近业界有些人讲大模型和生成式AI带来了计算范式的变化，请您来具体介绍一下计算范式具体发生在哪些方面的变化？用云还是用集群训练大模型，它们之间的关系是什么样的？

侯震宇：计算范式是非常大的一个概念，在我看来计算范式的变化有几点：

一是大模型。今年谈的大部分是大语言模型，全称是预训练大语言模型，先去通过大量的数据做应用训练得到一个所谓的大模型，在大模型基础上再去做一些少量数据注入之后做精调，是整个模型研发的一个模式或者一个范式。和以往的AI确实有非常大的变化，因为大家知道以前过去十年以来AI被广泛使用，比如说我们在To B领域或者是CV——计算机视觉在大量使用。在广告营销领域，推荐算法也是大量使用，不管哪种都要先获得这个场景里的这些数据，根据你所用的模型，从头开始去训练，尽管之前模型不像现在的模型参数这么大，一亿个参数在去年可能还算是一个挺大的，今年大家都说10亿是小模型，其实也是很大规模的模型。图像、语音的模型都是很大的模型，这些都是从头开始做的。

所以，它对于模型来说，现在基于预训练的模型研发和以前完全从头从场景里标数据训模型，是完全不同的方式。大家好像都觉得现在大模型训练对资源消耗，对算力消耗非常大，确实非常大，重新训练一个大模型确实非常大。

广泛应用来说，你不需要从头开始训练，你就是需要去选择一个好用的通用大模型，结合你自己场景的数据去做SFT有监督精调，就可以不用原先从头开始做，从头开始训练，就可以获得一个很好应用效果的。

对于应用方来说，它所使用得到很好用的模型，所得用数据量，算力规模，所训练模型出来的时间都大大缩短了，这是一个巨大的范式变化。

另外一点，我们现在一再强调AI原生应用，现在很多设计和应用整个设计的模式也好，范式也好，和以前也完全不一样了。以前的应用基本是以业务为逻辑驱动，它的业务逻辑是什么，不管是做电商购物车，还是编排一个网站，这都是规定好某一个逻辑，或者做一个社区，我们应该先建哪里，后建哪里，什么地方上数据，什么地方展现数据，什么样排序，这些东西都是人们想好的，固化下来的业务逻辑。

但是，现在很多基于生成式AI大模型能力，它的很多逻辑本身就是通过在模型里实现自动编排，或者人工来辅助编排。所谓的AI原生应用，一定要原生使用大模型这样生成式的模型能力，才有这样的应用，这和以前也是完全不一样的，这两者是相叠加的，任何一个应用方或者是服务方，不管你是在传统企业里，还是在互联网企业里，你都需要去获得一个很好的你自己的模型。你自己的模型，不是说你一定要从头训百亿、千亿，你可以去做一个微调，去获得你自己的模型，然后再用这样一个模型的能力，去设计出来你现在新的AI原生应用。

刚才提到RAG，Agent， MOE，这些都能够让我们现在去写一个应用，和以前是完全不同方式。所以，整体来说，所谓的大的AI原生，或者是生成式AI驱动的整个大模型，既发生在模型层，也发生在应用架构层。

第一个问题我多说一点，早期基于CPU是重逻辑的概念，大量的技术领域的能力，而AI更多的是它的异构计算去做的加速，我们认为生成式AI带来的这波浪潮足以改变从底层算力到上层应用，以前传统互联网应用到移动互联网都是在CPU上。

现在AI原生还要用CPU，但是它的负载大量迁移到了异构或者GPU上面来，从底层算力开始到它的核心能力变成了模型，再到上层应用，基于模型，而不是基于某一个你自己固化下来的逻辑能力，这是整体都带来了我们将来完全不同的方式。

对于云来说也是重大格局的变化。我们总说云计算发展整体从2006年AWS正式开始，云计算开始大规模发展，所有东西都基于传统互联网，基于传统数字化，基于移动互联网，或者说得更彻底，基于CPU计算芯片，今年尽管英伟达市值早就超过了英特尔，财报英伟达GPU的收入超过了高通，超过了英特尔，手机移动芯片，足以证明云计算将来所面对的客户需求，整个云的市场从算力开始迁移到GPU为主，它的平台核心能力迁移到以模型能力为主，它的应用更好的使用模型能力，或者是基于模型能力去做的应用，AI原生应用，这是新的发展，这是巨大的变革。

记者：亚马逊最近开的大会上，英伟达去搞了一个智算集群，和云是什么关系。

侯震宇：AWS提供的还是云服务，底层肯定都是一个集群两个集群，或者多个集群，一个大集群，它以云的这样的产品形态来对外去提供服务。这就是它的差别。

百舸万卡以上的集群，会以一个云的形态对外提供使用。所以这一点是两者之间的差别。我们觉得集群某种程度上是技术层面的概念，云是服务层面的概念，不完全一样。

记者：百度自己做模型，也做AI原生应用，希望开发者基于咱们大模型去做AI原生应用，它的边界在哪里？能不能介绍一下百度目前跑得最好的AI原生应用有哪些？

侯震宇：所谓的边界，我们对于百度来说有自己的To C业务，大家都很熟悉，我们的搜索、信息流，网盘，文库，诸多的这些大家常见的产品，这些百度该怎么做还会怎么做。

但是我们现在聊的所谓大模型和云是一个平台服务，我们不会过多会向上层进入到我们行业里面，会不会做？会做一些，很多时候我们会去和合作伙伴一起打造，比如说我们往上层做，Comate代码助手——我们基于文心一言大模型去帮助大家写代码，这个东西是应用，并不是像千帆大模型是下层的平台。客观讲，我们是一个平台化的产品，我们服务主要是以平台提供服务，不会做太多这样的应用。

To C要怎么做是我们的移动事业群去考虑的事情，基本上百度现在所做的这些内容，To B我们核心服务全都是平台，会有一两款这样的像Comate代码助手这样的业务，这是我们所谓的边界。所以可以看到但凡以平台形式去做的，我们都会发力去做，比如说我们面向有些大客户更多需要集群类服务，就是基于百舸去提供。有的就想要一个大模型我们自己去做SFT（监督微调），我们也有，就是千帆。或者你直接调用，我们在千帆上调用文心一言或其他大模型。百舸是开放平台，我们多芯兼容；千帆也是开放平台，你去跑什么模型都可以在千帆上面跑，用千帆的工具链，和百舸一样，你买了一万张卡未必能很好用起来，但通过百舸能够帮助你用起来，千帆也是一样，能够通过平台能力让你的模型跑得效率更高。

说实话，计算资源，卡，数据，几个消耗的资源，算力资源，数据资源，还有一些我们去调模型的人力资源都很贵，都需要时间。所以我们通过底层基础设施和中层千帆大模型平台大幅度提升大家的效率，是我们核心的工作。

目前大家可以看到，但凡和生成式AI本身能力比较相关的，它确实也是在应用方面会被机器学到的，你说大的行业，金融、互联网、教育、游戏、电商，这些用得都比较多。一些场景，比如说所谓的客户场景，生成文案广告营销等等，或者是像教育领域都是现在我们比较大的新的应用场景。现在我们的整个在千帆平台上使用量还是非常大。

记者：客户很关注降成本的问题，提高吞吐，使用一些轻量芯片，还有其他可以降低成本的吗？2024年可能会降低到什么幅度？您的预期。

侯震宇：这里有几个概念，一个是训练，一个是推理，真正应用到是推理，训练是研发，你训练出来的模型，如果这个模型达不到足够好的效果，那就没有意义，训练不管消耗多少钱，很多还是很少，如果达不到效果是没有意义的。所以，百舸比千帆做得更多，百舸为模型算法和运维专家提供全面的集群运维支持和任务全生命周期管理，同时具备训练/推理加速、故障容错、智能故障诊断等高级功能。千帆项目不止提供文心一言的调用，还有整个易用的工具链，包括针对模型评估、数据标注等，让做大模型开发能更高效。

不管是数据资源，算力资源，人力资源确实都很贵，如果别人花100天能做出来的，你花70天或者50天，这就是省钱。我们在2009年就开始对GPU做加速了，是国内第一个做加速的公司。我们把整个规模，易用性和效率都堆在百舸上面，能力都堆在这，让大家更有效利用好这些算力资源，数据其实也很贵，标注数据是非常昂贵的事情，能够更快做到模型效果收敛，这也是一个非常重要的事情。

我们在百舸上面向很多客户，我们有一些大的客户在百度云的平台上，千卡以上跑一个任务，我们会帮他们搞定有效训练时长，同时也要帮助他去做函数收敛，越收敛意味着花更短的时间训练出来，把算力资源释放出来，这样客户就不用花这些钱了或者可以再去训一个新的模型，这些都很关键。

2024年我觉得算力的整体供应不确定性或紧张程度较大，所以如何能够更有效使用算力资源，是一个大家都要面临的问题。算力自身就贵，因为供给稀缺它都在涨价，你用得时间越短，效果一样，就会越省钱，进行各种层面的优化，包括算力层面，算力推理层面的优化，模型训练工具链优化，确保更短时间去使用达到同样的效果，都是在2024年重点去关注的。

训练出来之后你的模型不足够好，你训练它也没有什么用，现在的推理比以前贵多了，所以推理成本的下降也非常重要，在百舸平台上相应推理的优化也做得非常多。确保大家足够少的钱能训练出来想要的模型，以及用一个你可以接受的成本真的去使用起来AI大模型，这都是2024年非常关键的事。

我们谈到AppBuilder面向应用，让你建一个AI原生应用效率变得很高，你需要三个月、一个月写出AI原生应用的APP，现在基于我们的框架，10天，3天，3小时就可以做到，至少能验证你这个东西可不可用，或者是不是你想要的东西，这是核心的方面。

记者：关于数据库方向的问题，这次也有数据库迭代，针对当前大模型技术趋势，百度在数据库层面有什么样的规划？怎么去看向量数据库？

侯震宇：虽然说范式的升级是大结构跃迁，前几年我们就看到了，有做深度学习领域研究的获得图灵奖，有做（计算机体系）结构的获得图灵奖，在黄金时代，各种各样的芯片，异构模型崛起，它（AI）是一个高速发展的阶段。而如今大模型确实是AI领域特别热的一个点，但大模型只有AI也不够，AI原生应用最终落脚还是在应用，应用可能会有AI驱动，仍然有自己的逻辑，AI研发是数据驱动的，看数据在哪里，我们不只发布了数据库，也升级了百舸，沧海、太行。

我们还是希望和大家说一下，一个巨大的跃迁，不代表CPU消失了，不代表传统的云计算消失了，在整个数据库，基础云计算上我们仍然在做，它只是比例问题。CPU是永恒的，CPU是做加速，更多技术赋能到好的产品上来。具体到数据库来说，向量数据库以前也有，只是现在在大模型时代，确实是一个被拉起来的更大的话题，所以我们有自己的向量数据库，我们也会再去进一步发布。

除了向量数据库以外，我们还会发云原生数据库GaiaDB。百度内部数据库现在也都已经迁到了Gaia上面来，这方面我们做了很多工作。大数据也会做持续性升级。大模型开发里一个比较有意思的点，我们现在在想如何去做一个大模型，以前我们写一个程序用GCC来编有没有BUG，用GDB去调，现在没有这种BUG，而是需要去用新的一组数据集的分布，再去训到这个模型里面来，改掉里面模型的效果，这真的是一个巨大的变化。

对于模型已经不是所谓的BUG概念了，全都是基于数据库，怎么对数据进行流处理，数据清洗，大数据分析，在大的AI原生时代它的重要性变得更高，尽管它看上去属于传统基础云的范畴。我们在这些领域都会大幅度加强，来配合在AI原生使用上都能用起来，比如说训一个模型出来，或者训的模型数据存在云上，这都需要高速并行，理论上百舸里面包含了高速并行功能，同时也属于沧海的一部分，这些都是我们传统的计算存储产品的升级，但是在大模型时代也都还在持续去做。

记者：大模型能给厂商带来多少收益，也是大家比较关心的问题。10月份，OpenAI发布他们平均收益超过1亿美金了，像这样一个收益量级在国内大概是属于怎样的级别，国内有没有大模型厂商达到这样的收益水平？大家说2023年是国内大模型元年，今年会是国内大模型收入的高点吗？或者说，高点还没有到来？

侯震宇：今年是不是收入高峰，还远没有到，我们可以看到今年虽然说是大模型元年，我们一直在外面接触客户，所有人过来跟你谈，今年上半年很多客户、行业仍然是属于学习阶段，不能说所有的客户都在学习，其实包括百度也是一样，因为这个变化确实太大了，很多客户来学习，不知道该怎么应用，大家都会拥抱大模型。

下半年我觉得从我们的角度来说，再接触的客户，或者上半年接触过的客户，到下半年就会改变，他们开始逐步理解大模型到底是什么事，大概其能够给业务带来什么帮助，这非常好，知道是什么事到真的能用还需要一段时间。国内逐步放开的政策，2023年虽然说是元年，但更多像是一个训模型的元年，真正AI原生应用现在还没有展现出来，最终对于大模型赚钱或者是云计算通过大模型来赚钱，一部分是模型生产，另外更多还是在应用层面调用模型收入的钱，还是调用模型产生算力的钱，这将来会是更大的规模。

如果没有产品调用，意味着你做出来这个模型效果不够好或者用不起，意味着这个产业就有问题，所以不会有更多人再去训，所以我觉得真正到AI原生应用能够开始（增长起来），现在已经看到有相对比较小的（产品），也确实有一些大的（产品）在使用我们的大模型了。现在也有很多创业公司想用大模型做很多事情，这类用户的体量也很大，这是最早一波吃螃蟹的人。刚才我也说到，我们最想要的是什么，真正有自己业务需要用大模型，不管是加强还是重构自己的业务，这一票的人他们将来对模型，对算力的消耗，我们相信都是最大的，最终对AI原生应用，赋能应用都是在明年开始逐步能够出来，今年才刚刚开始。

现在大模型逐渐开放服务之后，Q4开始，大家能够更好、更快地使用大模型的能力，我相信明年是AI原生应用的元年。

欢迎交流！