Meta连甩AI加速大招 首推AI推理芯片 AI超算专供大模型训练

当地时间5月18日，Meta在官网发布公告，为了应对未来十年AI算力需求急剧增长，Meta正执行一项宏伟计划——专为AI建设下一代基础设施。

Meta公布了其为AI构建下一代基础设施的最新进展，包括首款用于运行AI模型的定制芯片、一个全新的AI优化数据中心设计、首款视频转码ASIC，以及集成16000块GPU、用于加速AI训练的AI超级计算机RSC等。

Meta官网关于AI基础设施细节的披露

Meta将AI视为公司的核心基础设施。自从2010年Meta的第一个数据中心破土动工至今，AI已成为每天使用Meta系列应用程序的30多亿人的引擎。从2015年的Big Sur硬件到PyTorch的开发，再到去年Meta的AI超算的初步部署，Meta当下正将这些基础设施进一步升级进化。

01.Meta首代AI推理加速器7nm制程、102.4TOPS算力

MTIA（Meta Training and Inference Accelerator），是Meta第一个针对推理工作负载的内部定制加速器芯片系列。

AI工作负载在Meta的业务中中无处不在，这是广泛应用项目的基础，包括内容理解、信息流、生成式AI和广告排名等。随着AI模型的大小和复杂性的增加，底层硬件系统需要在保持效率的同时提供指数级增长的内存和计算。但Meta发现CPU难以满足其规模所需的效率水平需求，于是针对这一挑战设计了Meta自研训练和推理加速器MTIA ASIC系列。

自2020年起，Meta为其内部工作负载设计了第一代MTIA ASIC。该加速器采用台积电7nm工艺，运行频率为800MHz，在INT8精度下提供102.4TOPS算力，在FP16精度下提供51.2TFLOPS算力。它的热设计功率（TDP）为25W。

据介绍，MTIA提供了比CPU更高的计算能力和效率，通过同时部署MTIA芯片和GPU，其将为每个工作负载提供更好的性能、更低的延迟和更高的效率。

02.布局下一代数据中心开发首款视频转码ASIC

Meta的下一代数据中心设计将支持其当前的产品，同时支持未来几代AI硬件的训练和推理。这个新的数据中心将是面向AI优化设计，支持液冷AI硬件和连接数千个AI芯片的高性能AI网络，用于数据中心规模的AI训练集群。

据官网解读，Meta下一代数据中心还将更快、更经济地构建，并将补充其他新硬件，例如Meta的第一个内部开发的ASIC解决方案MSVP，旨在为Meta不断增长的视频工作负载提供动力。

随着生成式AI等新技术内容产生，人们对视频基础设施的需求进一步加剧，这推动Meta推出了一款可扩展视频处理器MSVP。

MSVP是Meta为内部开发的第一个用于视频转码的ASIC。MSVP是可编程和可扩展的，并且可以配置为有效地支持点播所需的高质量转码，以及直播所需的低延迟和更快的处理时间。未来，MSVP还将帮助为Meta应用系列的每个成员带来新形式的视频内容——包括AI生成的内容以及VR（虚拟现实）和AR（增强现实）内容。

MSVP的架构示意图

03.AI超算集成16000个GPU支持LLaMA大模型加速训练迭代

据Meta公告，其AI超级计算机（RSC）是世界上最快的人工智能超级计算机之一，旨在训练下一代大型AI模型，为新的AR工具、内容理解系统、实时翻译技术等提供动力。

Meta RSC具有16000个GPU，所有GPU都可以通过三级Clos网络结构访问，为2000个训练系统中的每个系统提供全带宽。在过去的一年里，RSC一直在推动像LLaMA这样的研究项目。

LLaMA是Meta在今年早些时候构建并开源的大型语言模型，具有650亿参数规模。Meta称其目标是提供一个更小、更高性能的模型，研究人员可以在不需要重要硬件的情况下对特定任务进行研究和微调。

Meta基于1.4万亿Tokens训练了LLaMA 65B和较小的LLaMA 33B。其最小的模型，LLaMA 7B，训练也用到了一万亿Tokens。大规模运行的能力允许Meta加速训练和调优迭代，比其他企业更快地发布模型。

04.结语：大模型技术应用倒逼大厂加速布局基础设施

Meta之所以自定义设计其大部分基础设施，主要是因为这能使其优化端到端的体验，包括从物理层到软件层再到实际的用户体验。因为从上到下控制堆栈，所以其可以根据自己的特定需求对其进行定制。这些基础设施将支持Meta开发和部署更大规模、更复杂的AI大模型。

在未来几年里，我们将看到芯片设计、专用和特定工作负载的AI基础设施、新系统和工具的专业化、定制化程度的提高，以及产品和设计支持效率的提高。这些都将提供建立在最新研究基础上的日益复杂的模型和产品，使世界各地的人们能够使用这种新兴技术。