GPT-5正在秘密训练，开源模型仍将落后闭源2-3年！DeepMind联创抖出大料

作者｜周愚

编辑｜尚恩

最近，DeepMind联合创始人、Inflection AI现任CEO Mustafa Suleyman在接受外媒采访时，放出了一则重磅消息。

谈及Sam Altman否认正在训练GPT-5，Mustafa没有选择直接戳穿，而是有些阴阳怪气地说道：“我认为我们还是坦诚相待比较好，这就是为什么我们公开了我们所拥有的计算总量。”

言下之意，就是OpenAI正在秘密训练GPT-5。

此前，OpenAI发布ChatGPT企业版时，网友就曾热议。一名长期研究OpenAI和ChatGPT的以色列创业公司CEO Yam Peleg甚至认为：OpenAI已经获得了GPT-5。

图源：X（Twitter）

这位老哥曾经试图反向破解尝试GPT-4和ChatGPT的代码解释器。今年6月，OpenAI成员访问以色列时，Peleg也参与了座谈沟通，并和Sam Altman合影留念。

图源：X（Twitter）

而为了显示自己的坦诚态度，Mustafa也透露未来三年Inflection AI的大模型进展："在接下来的3年里，我们要训练的模型要比现在大1000倍。甚至在未来18个月内，Inflection的模型就将比目前的前沿模型大100倍。"

对于大模型如此快速的发展，有网友兴奋地表示：活着是多么美好的一天啊！

来源：X（Twitter）

当然，也有网友对AI的快速发展是否会对社会造成负面影响，表示深深的担忧。

图源：X（Twitter）

Mustafa在采访中回应称，AI目前要具备危险的能力，仍然缺乏基本的组件，比如自主性和行动能力，这至少还需要5年甚至更久的时间。

此外，他还表示，至少在未来五年内，开源模型仍将落后于闭源模型，并分享了Google与DeepMind在伦理和监管方面的抓马故事。

开源这件事，过于天真了

尽管一再强调坦诚、透明的重要性，但对于大模型开源问题，Mustafa却没有那么乐观，颇有些泼冷水的意味。

他直言："我非常有信心，在相当长的一段时间内，至少在未来五年内，开源模型将持续落后于最前沿的闭源模型两到三年。"

当包括Meta的Llama2在内的许多大模型走向开源之路时，Mustafa却称：“在未来20年内，天真的开源，几乎肯定会造成灾难”。

图源：X（Twitter）

对于开源后，大规模访问可能造成的风险，Mustafa提出了一个相当有趣又细思极恐的概念——“权力的快速扩散”。

他表示，在未来几年内，我们就会拥有比现在大几个数量级的模型，而开源则意味着每个个体就能轻而易举地获得一个组织、甚至一个国家的权力，单一个体就能对世界造成前所未有的伤害和影响。

Mustafa以上一波社交媒体浪潮为例，在这波浪潮中，每个人都拥有了广播权，可以通过社交媒体的数百万追随者影响世界。

在过去，这几乎是出版商专有的方式，但也意味着这些行为在大多数情况下是可被追究责任的。而在社交媒体时代，追责却成了难以想象的事情。

另外，Mustafa还强调，AI技术有可能降低许多潜在危险化合物或者武器的开发门槛，当然从预训练中删除这些内容，对模型进行对齐等方法，可以降低这样的风险。

但一味地开源所有模型，势必会增大模型被利用来作恶的可能性。

当然，Mustafa也承认，开源模型的价格合理，任何人均可尝试，在过去对技术进步做出了很多贡献，但他表示仍要顶着压力，提醒世人注意开源的风险。他认为："如果我们没有这样的对话，我们最终会把造成大规模混乱的破坏稳定的工具交到每个人的手中。"

OpenAI要“保持透明”

面对AI能力的快速进步，Mustafa一度担心监管政策的落后，甚至曾经表示，要“寻求赢得时间的方法，放慢速度，为找到更多问题的答案提供空间”。

然而，现实似乎却是，AI的发展正在一路高踩油门，就连Inflection AI自己也似乎没有刹车的意图。

目前，Inflection AI正在建造世界上最大的超级计算机之一，甚至在接下来的一年半里，还将进行一次比GPT-4的语言模型训练运行大10倍或100倍的语言模型训练。

而Mustafa在这其中则似乎有些又当又立，正在亲自加速这场模型训练的军备竞赛，增加AI的风险。

图源：视觉中国

另一方面，AI训练的算力成本也正在迅速下降。

芯片算力将以2-3倍的效率快速增长，而算力成本则随着芯片算力的迭代在不断下降，届时训练相同规模模型的成本将远远小于目前的成本。

未来AI训练也不需要通过一味地堆叠更多算力，来训练更大的模型。比如，Llama2、Falcon等模型，凭借15亿参数或20亿参数，就获得了有1750亿参数的GPT-3的能力。

对于是否要放慢脚步，Mustafa并没有给出回答，不过他从另一个角度，否认了当前对Inflection AI的质疑并表示：“AI要具备危险能力仍然缺乏基本的组件，比如自主性和在世界上行动的能力。”

他补充道，AI要变得危险，还需要五年、十年、十五年，甚至二十年。我们无法知道确切的时间，但可以肯定，现在的AI并不危险。

而在回答这一问题时，Mustafa还轻踩了一脚OpenAI，指责OpenAI在训练GPT-5这件事上不够透明，暗中秘密训练，甚至公然撒谎否认正在训练。

与此同时，他还大方透露，为了训练比GPT-4更大的模型，Inflection AI目前有6000枚H100正在训练模型，而到12月，则会有22000枚H100用于训练。他表示，坦诚、透明的态度至关重要。

Mustafa还提到了自己创始的DeepMind，认为DeepMind也应该披露Gemini接受了多少FLOPS训练。

Google和DeepMind的抓马

引入外部监督进行治理，是Mustafa在DeepMind的十年间，花费大量时间推进的一样工程，但最终却很快以失败告终。他说：“这是一项相当痛苦的工作”，并追加表示权力方当然不希望这样，尽管自己认为谷歌是出于好意，但它的运作仍然是传统的官僚机构模式。

图源网络

最初成立谷歌伦理委员会时，DeepMind计划该委员会将由九名独立成员组成，为DeepMind开发的敏感技术提供外部监督。然而不幸的是，委员会成立的一周内，就有三名委员辞职，而后委员会的半数成员陆续离开。

而这场悲剧的原因是，DeepMind任命了一名曾发表过相当严重争议言论的保守派委员。就在任命消息公布的几天内，大学校园里就展开了大规模的运动，不仅要求该委员下台，还迫使其他委员推出，暗示他们宽恕或接纳这名保守派委员的错误观点。

更令人沮丧的是，公司在这个时候也开始反过来怀疑这样工作的必要性，认为这简直就是浪费时间。

而在此之前，被Google收购时，DeepMind将成立伦理和安全委员会作为收购的条件，他们希望将DeepMind剥离为一家相对独立的公司。然而，这种设想显然失败了，DeepMind从来都不是独立的，而现在它完全是谷歌的一部分。

虽已离开谷歌，不过引入外部监督仍然是Mustafa的目标之一。

今年7月，Inflection AI与其他6家AI巨头，在白宫一同签署了八项自愿承诺，Mustafa认为“其中一些自愿承诺应该成为法律规定”。

他表示，作为一家公司，面对如虚假信息在内的各种威胁总是显得有些无力，大多数威胁必须由国家来进行监管、解决，比如框定有害的模型能力。