• 我的订阅
  • 科技

英伟达:CPU已落伍 用GPU训练大语言模型成本可降低96%

类别:科技 发布时间:2023-05-29 17:04:00 来源:IT之家

IT之家 5 月 29 日消息,根据英伟达在 2023 年台北电脑展会上的演讲,该公司宣称其 GPU 可以大幅降低训练大型语言模型(LLM)的成本和耗能。

英伟达:CPU已落伍 用GPU训练大语言模型成本可降低96%

英伟达首席执行官黄仁勋在演讲中,向 CPU 行业发起了挑战,他认为生成式人工智能和加速计算是未来计算的方向。他宣布传统的摩尔定律已经过时,未来的性能提升将主要来自生成式人工智能和基于加速计算的方法。

英伟达在展会上展示了一份 LLM 的总体拥有成本(Total Cost of Ownership,TCO)分析:首先,他们计算了训练一个 LLM 所需的 960 个 CPU 组成的服务器集群的完整成本(包括网络、机箱、互连等所有设备),发现这需要花费约 1000 万美元(IT之家备注:当前约 7070 万元人民币),并消耗 11 千兆瓦时的电力。

英伟达:CPU已落伍 用GPU训练大语言模型成本可降低96%
英伟达:CPU已落伍 用GPU训练大语言模型成本可降低96%
英伟达:CPU已落伍 用GPU训练大语言模型成本可降低96%

相比之下,如果保持成本不变,购买一个价值 1000 万美元的 GPU 集群,可以在同样的成本和更少的电力消耗(3.2 千兆瓦时)下训练 44 个 LLM。如果转而保持电力消耗不变,那么可以通过 GPU 集群实现 150 倍的加速,以 11 千兆瓦时的电力消耗训练 150 个 LLM,但这需要花费 3400 万美元,此外这个集群的占地面积比 CPU 集群小得多。最后,如果只想训练一个 LLM,那么只需要一个价值 40 万美元、消耗 0.13 千兆瓦时电力的 GPU 服务器就可以了。

英伟达所要表达的意思是,相比 CPU 服务器,客户可以以 4% 的成本和 1.2% 的电力消耗来训练一个 LLM,这是一个巨大的成本节省。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-05-29 18:45:04

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

微软、英伟达纷纷押注小模型,大模型不香了?
...“越大越好”的观念。视觉中国当地时间8月21日,微软和英伟达相继发布了最新的小型语言模型——Phi-3.5-mini-instruct和 Mistral- NeMo- Minitron8B
2024-08-26 14:17:00
前谷歌工程师创业造AI芯片!产品明年问世,已拿到1.8亿融资
...谷歌前员工成立的AI芯片创企MatX浮出水面。MatX正在挑战英伟达在AI芯片领域的霸主地位,其为大语言模型训练而设计的AI芯片将于明年问世
2024-03-30 11:11:00
AI芯片下半场:英伟达不再一家独大
ChatGPT爆火迄今,英伟达被公认为本次全球AI淘金浪潮的最大“卖铲人”,也是各大媒体和社交平台上讨论度最高的一家AI芯片公司。不过,随着AI热潮持续升温,越来越多厂商也开始在
2023-11-16 23:46:00
机器人训练更高效低成本!英伟达官宣Isaac Sim4.2,性能翻了一倍
...瞻12月4日报道,这两天,在亚马逊云科技re:Invent大会上,英伟达宣布推出了Isaac Sim 4.2。Isaac Sim 是基于 NVIDIA Omniverse 开发的功能强大的仿真平台
2024-12-05 09:45:00
英伟达地表最强,黄教主被称作AI界“霉霉”
...丨创业邦(ID:ichuangyebang)作者丨Juny编辑丨海腰图源丨英伟达官方好久没有一场大会让整个科技界都如此躁动
2024-03-19 11:56:00
逐浪大模型,国产GPU的机遇和挑战 | 钛媒体深度
...涌现’的能力,意味着出现了某种程度的智能。”曾经在英伟达任职的石浩对钛媒体App表示,目前学术界解释不了“涌现”的原因,但ChatGPT的大模型训练是现在行业可以参考的唯一方
2023-06-21 16:00:00
微软难以摆脱英伟达 |焦点分析
...处理器)Azure Cobalt 100,分别在AI芯片和CPU芯片上正面对刚英伟达和英特尔。2023年3月ChatGPT火热后
2023-11-20 13:32:00
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
...型预训练“缩放定律”定律失效?模型推理成“解药”,英伟达一家独大格局要变天?“缩放定律”指导下,AI大模型预训练目前遭遇瓶颈。据路透12日报道,硅谷主要AI实验室的新模型训练
2024-11-13 14:09:00
英伟达黄仁勋叠 BUFF!
...模型,迅速构建虚拟世界?8月8日,皮衣教主黄仁勋带着英伟达的一系列更新,在SIGGRAPH现场发表NVIDIA主题演讲
2023-08-10 11:07:00
更多关于科技的资讯: