揭秘Meta大内斗：超半数Llama作者出走，算力短缺是硬伤

文｜周愚

编辑｜邓咏仪 尚恩

那厢谷歌八子一个接一个走，这厢Meta也开始了“大逃亡”。

虽然Meta的大模型Llama和Llama2正因免费开源而广受好评，光鲜的外表却难掩其研发团队的动荡，人才一个接一个出走。

据The Information统计，今年2月发表Llama最初研究论文的14位作者中，已有超半数离开了Meta，背后的原因则直指：因算力资源短缺导致的内斗。

2013年成立的FAIR（Facebook AI Research）曾是Meta AI方面负责研究的核心，当时还聘请了图灵奖获得者、法国科学家杨立昆担任AI研究主任。Llama则由FAIR位于巴黎的一个团队负责。

不过，就在今年2月，Llama正式发布一周前，FAIR的联合负责人兼巴黎分部负责人Antoine Bordes离开了Meta，转而加入了搞军事的AI公司Helsing。

图源：LinkedIn

三个月后，Llama论文作者兼FAIR研究总监Armand Joulin也选择离职，加入了苹果。另外两名作者Timothée Lacroix和Guillaume Lample则于6月，在法国共同创立了初创公司MistralAI，还邀请了另一名作者Marie-Anne Lachaux加入。

一时间，Meta的Llama研究团队经历了一波大换血，甚至可以用“物是人非”来形容。

高级招聘人员Kyle Langworthy表示，由于许多企业急于将AI融入自己的产品或服务，因此试图从Meta挖墙脚的公司不在少数。

而随着Meta在AI领域的加大布局，人才外流也已经成为了公司不得不面对的大问题。

Meta AI研究实验室，基础AI研究负责人Joelle Pineau就很无奈地表示：“留住和吸引优秀人才可能是占据我工作中大部分时间的内容，因为没有优秀的研究人员，我什么也做不了。”

内斗，两败俱伤

在大语言模型研发上，Meta似乎采取了一种双管齐下的策略。

除了FAIR巴黎团队负责研发和发布的Llama，另一个主要位于美国的FAIR团队也在同时研发名为OPT的模型。

36氪制图

早在2022年5月，ChatGPT发布之前，美国团队就公开发布了OPT-175B。当时，Meta声称该模型比OpenAI的GPT-3训练所需能源更少，而这两个模型用于训练的参数规模相同。更有知情人士表示，几个月后，该团队已经开始研究媲美谷歌PaLM的一款大模型。

图源：Meta AI

在这场内部竞争中，OPT还一度占据上风，Llama的研究人员因此感觉自己被Meta所冷落。理由是，Llama团队获得的算力资源分配低于北美的OPT团队。双管齐下，也许能增加成功的概率，但在Meta算力短缺的背景之下，绝不是什么好点子。

Pineau就承认，Llama和OPT团队在算力分配的问题上“有些紧张”，并补充道：“尽管我们不保证每个人都会得到想要的，但我们一直试图在平衡各方需求。”

至于算力是如何被分配的？根据Meta内部的员工爆料，来自不同业务部门的领导者会根据组织的优先事项，以及项目的发布时间，每月做出一次算力分配决定。

而如果FAIR的员工提出争议，这些争议就会升级，交由Pineau做出决定。

图源：Meta AI

这场内斗的结果只能说是两败俱伤。不仅是Llama团队大换血，2022年5月发布的OPT论文的19位作者中，也有大约一半“叛逃”，离开了Meta。

而在这时，FAIR的一些领导人才开始质疑他们的策略：为什么有两个团队在从事类似的项目？而这两个项目所需的共同资源又是如此的有限？

紧张的局势随着今年2月，FAIR巴黎分部负责人Antoine Bordes离职，到达了顶点。对此Pineau也承认，他在Llama发布前一周离开Meta，确实给团队“带来了一些不确定性”。最终，这场内斗以两个团队的合并告终。

由于接连失去OPT团队的研究成员，该团队正在研发的更大规模模型只能被忍痛放弃。2月，FAIR领导人决定召集OPT团队的部分成员，让他们加入Llama团队，专注于模型二代的研发。

Pineau说，两个团队“都想在同一时刻扩大规模，只能要么选择其中一个，要么让他们一起工作”。这似乎也暗示了此前让两个团队分别研发各自大模型的决策是错误的。

更何况，彼时的Meta不仅面临着内忧，更受到外部的严峻挑战。在OpenAI发布ChatGPT后，外部的压力也经由Meta高层，传递到了研究团队身上，加剧这场竞争的紧张感。

算力不足是硬伤

这场内斗的原因，归根结底是Meta算力布局方面的落后。

在OpenAI、微软、谷歌等巨头推出消费端AI产品时，Meta在生成式AI的赛道上，显然掉队了。当Meta终于不再大谈特谈元宇宙，将生成式AI作为核心事项时，它又在基础设施布局上犯了一个大错：

没有尽快采购英伟达的GPU芯片以训练AI模型，而是一直试图使用传统的CPU芯片，导致其在训练AI的表现上显著落后于GPU芯片。

2022年夏天的尾声，扎克伯格召开了一场专门分析开发先进AI技术的算力储备的会议，时长长达5个小时。据路透社报道，Meta的基础设施负责人当时表示：“我们在开发AI的工具、工作流程和程序上存在显著差距，我们必须得投入大笔投资。”

也正是在2022年，Meta才迟迟开始启动GPU芯片的大规模采购计划。然而，由于GPU对功率和散热更高的要求，数据中心等基础设施必须重新设计和搭建。Meta的多个数据中心项目不得不暂停，等待新设计的完工。

图源：ICphoto

此时，Meta已经被竞争对手们甩在身后很远的位置。2015年，谷歌就开始部署定制版的GPU芯片，OpenAI也早就获得微软云Azure提供的数万张GPU芯片算力支撑。

尽管Meta的AI研究中心有杨立昆等大佬坐镇，团队量级并不输其竞争对手，但硬件的落后也让团队无能为力，不得不陷入内斗。

此前，Meta公司还尝试使用自己设计的定制芯片训练AI ，但这一策略在2021年就被认定更慢、更低效，而最终被放弃。

Meta的CFO Susan Li在2月也坦承，Meta投入给生成式AI的算力相当有限，“基本上所有的AI算力都投向了广告、信息流和短视频项目”。

毫无疑问，人工智能软硬件系统的优化更新是用钱砸出来的。Meta披露，在人工智能方面的改组使其每季度的资本支出增加了约40亿美元。与此同时，Meta正面临着严峻的财务危机，从去年十一月以来一直在持续裁员，以降本增效。

另外，尽管扎克伯格公开提及元宇宙的次数已大大减少，但他却回应道：“我们在AI和元宇宙上已经专注了很多年，我们将继续专注于这两个业务。”

Meta的元宇宙几乎是个烧钱的无底洞。去年一年，Meta的元宇宙业务亏了137亿美元，Meta也预计，今年的亏损还将继续扩大。

反复横跳，重蹈覆辙

不可否认，Llama自2月发布以来，一直受到好评。发布的几个月内，就有其他AI研究人员利用Llama开发了其他的开源大语言模型。扎克伯格也表示，随着其他开发人员改进模型，Meta可以将这些改进整合到其广告和消费产品中。

今年7月、8月，Meta还相继发布了Llama2模型和专攻代码生成的Code Llama。

不过，Meta对于AI研发的态度仍不明朗，不断转变，研究人员之间仍然酝酿着一触即发的紧张关系。

就在今年2月，Meta整合Llama和OPT团队的同时，还成立了一个专攻应用的生成式AI团队。该团队由苹果前高管Ahmad Al-Dahle带队，从FAIR中吸引了许多研发人员的加入。Meta内部似乎又要重蹈覆辙，陷入了一场团队之间的内斗。

Pineau在采访时透露，Meta的AI项目总是在这个新团队与FAIR团队之间“反复横跳”。前述的Llama2和Code Llama就是分别由两个不同团队负责的。

Pineau对此则解释道：“因为这个领域发展得太快了，我们仍在探索，FAIR应该负责哪个项目？而生成式AI又该负责哪一个项目？”

图源：金融时报

此外，FAIR的研究传统与使命，也在Meta对AI态度的转变中不复存在。FAIR传统上，形成了一种由研究人员领导的自下而上的文化，其使命是推进AI的突破。然而，随着扎克伯格对AI融入Meta产品的要求日益强烈，FAIR的关注点正在不断缩小，如蛋白质折叠等无产品化倾向的研究正在被取消。

这样的频繁变动，导致的是研究人员的大规模流失。

扎克伯格曾直言：在Meta落后于OpenAI的情况下，他计划将生成式AI作为Meta的核心优先事项。而优质人才的稀缺，正在减缓Meta追赶上谷歌、微软等竞争对手的脚步。