• 我的订阅
  • 财经

影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?

类别:财经 发布时间:2024-11-13 14:09:00 来源:华尔街见闻

大模型预训练“缩放定律”定律失效?模型推理成“解药”,英伟达一家独大格局要变天?

“缩放定律”指导下,AI大模型预训练目前遭遇瓶颈。据路透12日报道,硅谷主要AI实验室的新模型训练计划目前普遍进展不顺,新模型训练遭遇拖延和令人失望的结果。比起GPT-4o,Orion被曝几乎没有任何改进,谷歌的Gemini 2.0也存在类似问题。

为克服瓶颈,OpenAI正探索“测试时计算”(training runs)技术,让模型不再受限于预训练,而能够以多步骤方法思考问题(推理)来提升表现。报道称,相关技术的应用最终推动OpenAI发布o1模型。

这可能会改变人工智能硬件的竞争格局。

目前为止,AI硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试(推理)时间,模型就能获得更好的结果,那新一代模型可能就不再需要那么大的参数,较小的模型将直接降低成本。市场需求或将从大规模预训练集群转向推理云,英伟达在推理芯片市场可能会面临更多竞争。

“缩放定律”面临挑战

硅谷主要AI实验室的新模型训练目前普遍进展不顺。

据科技媒体The Information报道,OpenAI开发的下一个旗舰模型“Orion”,目前已经完成20%的训练。尽管表现已接近现有的GPT-4,但进步幅度却远不如前两代旗舰模型之间的飞跃。

Orion在语言任务上表现更好,但在编码等任务上可能不会优于以前的模型。且与最近发布的其他模型相比,OpenAI在其数据中心运行 Orion 的成本可能更高。

Orion的进展放缓直接挑战了人工智能领域一直奉行的“缩放定律”,即在数据量和计算资源不断增加的前提下,模型性能将持续大幅度提升。

影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?

当年最早将“缩放定律”应用于实践,并最终成功创造出ChatGPT的前Open AI联合创始人Ilya Sutskever在接受路透采访时直言,AI模型扩展训练的结果,已经趋于平稳。通过在预训练中使用更多的数据和算力,让AI模型性能暴涨的阶段可能已经到头了:

2010年代是“缩放定律”的时代,现在,我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。

现在重要的是“扩大正确的规模”。

Ilya透露,他的团队正在研究一种全新的替代方法,来扩展预训练。

“测试时计算”会是破局方法吗?

OpenAI则极力否认AI模型训练面临瓶颈。作为应对,OpenAI研究人员正在探索一项“测试时计算”(training runs)的技术。十几位AI科学家、研究人员和投资者告诉路透社,他们认为正是这些技术,推动了OpenAI发布o1模型。

所谓测试时计算技术,是指在推理阶段(模型被使用时)就将模型增强,让模型可以实时生成和评估多种可能性,而不是理解选择单一答案,最终选择出最佳路径。

这种方法可以允许模型将更多的处理能力,用于数学、编码问题等具有挑战性的任务,及需要类人推理和决策的复杂操作。

在新技术的运用下,o1在GPT-4等基础模型上进行另一套训练。该模型不再受限于预训练,而能够以多步骤方法思考问题(类似于人类推理)来提升表现。o1还涉及了来自博士和行业专家策划的数据和反馈。

参与o1开发的OpenAI 研究员在上个月TEDAI大会上直言:

让AI在一手扑克牌中思考20秒,所获得的性能提升,与将模型扩大10万倍、训练时间延长10万倍的效果相同。

其他科技巨头也在积极跟进。

路透援引多名知情人士报道称,来自Anthropic、xAI 和 Google DeepMind 等其他顶尖人工智能实验室的研究人员也在开发自己的技术版本的“测试时计算”。

这可能会改变人工智能硬件的竞争格局。

目前为止,AI硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试(推理)时间,模型就能获得更好的结果,那新一代模型可能就不再需要那么大的参数,较小的模型将直接降低成本。

从红杉资本到 Andreessen Horowitz 等知名风险投资公司,他们已经投入数十亿美元资助 OpenAI 和 xAI 等多个人工智能实验室昂贵的人工智能模型开发,他们正在关注这一转变,并权衡其昂贵赌注的影响。

红杉资本合伙人 Sonya Huang 向路透社表示:

这种转变将使我们从大规模预训练集群的世界转向推理云,即用于推理的分布式云服务器。

这或许打破英伟达在训练芯片领域的垄断地位,公司在推理芯片市场可能会面临更多竞争。类似Groq的推理芯片公司或能“撕开”行业缺口。

英伟达也坦诚推理芯片需求的变化,在上个月印度演讲中,黄仁勋谈到了新技术对芯片进行推理的需求不断增加,强调了 o1 模型背后的技术的重要性:

我们现在发现了第二条“缩放定律”,这是推理时的“缩放定律”……所有这些因素都导致对 Blackwell 的需求非常高。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-13 17:45:04

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

黄仁勋:放弃中国市场将是巨大的遗憾!靠其他地区来弥补根本不可能
快科技5月27日消息,英伟达CEO黄仁勋在日前接受专访时表示,英伟达依然高度重视中国市场。黄仁勋表示:“中国市场极具活力,发展迅速,放弃这个市场将是一种巨大的遗憾。”他表示英伟达
2025-05-27 10:24:00
一周事件|英伟达造假?华尔街炸了;联合国警告:气候崩溃已开始;摩洛哥6.9级地震已致632人死亡;马斯克打造通用人工智能
...什的老城被列入联合国教科文组织的《世界遗产名录》。英伟达造假?华尔街炸了本周,华尔街的“当红炸子鸡”英伟达股价累计下跌8.43% ,市值缩水约1000亿美元,令投资者大感意外
2023-09-09 17:08:00
对话|黄仁勋回应中国市场和AI芯片定价问题 称英伟达市值合理
当地时间3月19日上午,英伟达创始人CEO黄仁勋接受全球媒体采访。他对包括第一财经在内的记者表示,全球数据中心市场规模去年就达到2500亿美元左右,并以20%至25%的速度增长,
2024-03-20 11:06:00
英伟达股票就是个泡沫?黄仁勋兑现期权,三天卖出约8.91万股英伟达股票
01英伟达股票就是个泡沫?传奇投资人:一旦破裂将引发全面崩盘!传奇投资人、投资机构Research Affiliates的董事长罗伯•阿诺特(Rob Arnott)日前警告称
2023-09-08 17:22:00
朱啸虎、傅盛激辩GPT背后,AI 大模型“泡沫”要破了?
...是数据、算力、算法,核心技术难度较低——算力需要堆英伟达显卡、算法也可以用开源的,数据则有法规限制,所以投资人的兴趣降低了。“这就意味着,大家的起跑线是一致的,那么水平差距就
2023-06-27 14:29:00
在美联储放缓降息步伐的背景下,英伟达财报几乎成为了美股市场信心的最后希望。伴随着人工智能前景被看好,英伟达股价从2022年10月低位已经上涨了近7倍,股价从108美元,最高触及8
2024-02-28 10:30:00
英伟达禁令之后,中国AI计算何去何从?
...AMD、英特尔等公司提供的高端AI芯片也受到影响。但由于英伟达在全球AI芯片领域一家独大,本次禁令涉及A100、H100等主流AI训练用英伟达GPU
2023-11-04 14:54:00
站在AI“风口上的猪”正在坠地
‍‍‍‍‍‍本周二,英伟达超越微软苹果,一举登顶成为了全球市值最高的公司,这进一步激发了人们对于AI题材的兴趣。然而,可能鲜有人注意到的是,即便是在年内表现火热的美股市场上,也依
2024-06-20 11:23:00
英伟达市值一夜蒸发超520亿美元,华尔街争论股价是否见顶
美国AI(人工智能)芯片巨头英伟达(NVDA.US)发布新一代超级芯片的消息未能刺激到股价。美东时间8月9日,英伟达CEO黄仁勋发布了新一代GH200超级芯片后的第二天
2023-08-10 16:12:00
更多关于财经的资讯:
民生银行烟台招远支行深入代发工资企业 筑牢反诈“必修课”防线
7月正值全国“全民反诈在行动”集中宣传月,围绕“反诈是门必修课,筑牢防线守好责”主题,民生银行烟台招远支行积极践行金融机构社会责任
2025-08-04 03:03:00
8月金股大数据出炉,算力、创新药仍占主线,头部券商称牛市不改
财联社8月3日讯(记者高艳云)随着8月首个交易日开启,券商月度金股组合大数据正式亮相。42家券商研究所发布8月金股标的中
2025-08-03 15:05:00
环球下周看点:就业疲软叠加关税忧虑 美股能否重拾涨势?
财联社8月3日讯(编辑 夏军雄)本周,美股三大指数均录得下跌,标普500指数累计下跌2.4%,创5月23日以来最差表现
2025-08-03 08:49:00
顶流“小猪妖”杀进暑期档!《浪浪山小妖怪》预测票房近5亿 授权衍生单品已超400个
财联社8月3日讯(记者 崔铭)顶流“小猪妖”时隔两年回归、主演影片上映首日豆瓣开分8.6,国产动画电影《浪浪山小妖怪》以“黑马”之姿杀进暑期档
2025-08-03 11:54:00
稳健增长引领发展提升产能 多家厦企上半年业绩不俗
厦企在精准医疗领域持续引领发展。图为艾德生物实验室。(市科技局 供图)厦门网讯(厦门日报记者 李晓平)连日来,多家企业先后披露半年报
2025-08-03 08:52:00
· 6月末多个重点领域贷款余额保持较快增长
央视网消息:中国人民银行数据显示,6月末,多个重点领域贷款余额保持较快增长,科技、绿色、普惠小微、养老产业、数字经济产业贷款余额分别同比增长12
2025-08-03 10:50:00
· 滨海小城出圈 全球四分之一的泳装来自这里
盛夏时节,泳装市场迎来销售旺季。在辽东湾畔,有一座人口不到50万的海滨小城叫兴城,它凭借泳装产业声名远扬。全球每卖出4件泳装
2025-08-03 10:50:00
麦当劳要卖香港商铺,“大地主”藏不住了
作者:陈泽旋当了几十年香港房东的快餐巨头,要卖商铺了。7月28日,地产投资管理及服务公司仲量联行公布,美国快餐巨头麦当劳总公司(下称“麦当劳”)计划出售八项位于香港的零售物业
2025-08-03 06:43:00
深圳出手托底楼市,收储前海百亿地块
房地产市场深度调整之际,深圳再度出手托底。7月28日,华发股份公告称,全资子公司深圳融华置地投资有限公司(以下简称“融华置地”)收到深圳土储中心发来的 《市土地储备中心关于协商收回收购前海冰雪世界项目7块商业用地有关事宜的函》
2025-08-03 06:44:00
企业半年报|贵州磷化集团:在产业变革中奋楫实现新突破
今年以来,贵州磷化集团坚持推动企业发展与国家重大战略、全省发展大局和产业发展大计同向同行、同频共振,持续强化经济运行调度
2025-08-02 20:11:00
产经时评|大数据人才如何才能向“黔”进?
大数据产业、数字经济的蓬勃发展,其核心竞争力归根结底在于人才。任何高精尖领域,人才均是驱动创新、引领产业升级的核心引擎与第一资源
2025-08-02 21:13:00
多图直击ChinaJoy:百度腾讯阿里字节抢人气 鸿蒙游戏上场
《科创板日报》8月2日讯(记者 黄心怡)第22届中国国际数码互动娱乐展览会(ChinaJoy)于8月1日启幕。 百度、腾讯
2025-08-02 11:49:00
易主不到两个月,金字火腿转型半导体?
跨界布局半导体赛道,正成为当下上市公司战略转型浪潮中的常见动作。7月28日,老字号金字火腿在福建注册成立全资子公司福建金字半导体有限公司
2025-08-02 08:14:00
企业半年报|以稳求进!贵州机电集团装备制造挺进大市场
上半年,作为贵州装备制造业主力军的机电集团,紧扣“稳增年”定位,累计完成的营业收入达成年度目标的53.24%;累计完成的利润总额达成年度目标的53
2025-08-02 17:35:00