• 我的订阅
  • 财经

李飞飞团队“50美元”复现DeepSeek R1?真相是…

类别:财经 发布时间:2025-02-07 06:25:00 来源:瘦子财经

s1模型的训练并非从零开始,而是基于阿里云通义千问(Qwen)模型进行监督微调。s1模型的神奇“低成本”,是建立在已具备强大能力的开源基础模型之上,可谓依然是开源的胜利。

作者 | 黄心怡

今日一则关于人工智能领域的新闻引发广泛关注。

据报道,李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用,成功训练出了一个名为s1的人工智能推理模型。该模型在数学和编码能力测试中的表现,据称与OpenAI的O1和DeepSeek的R1等尖端推理模型不相上下。

这一消息无疑在AI界投下了一颗重磅炸弹,真相究竟如何?

《科创板日报》记者调查和采访业内人士后发现,s1模型的训练并非从零开始,而是基于阿里云通义千问(Qwen)模型进行监督微调。这意味着,s1模型的神奇“低成本”,是建立在已具备强大能力的开源基础模型之上。

▌通义模型的“基座”作用

根据李飞飞等人的研究论文,s1模型的训练仅使用了1000个样本数据。按照业内共识,这一数据量在AI训练中可谓微乎其微,通常不足以训练出一个具备推理能力的模型。

青年AI科学家、上海交通大学人工智能学院谢伟迪副教授告诉《科创板日报》记者,如果仔细研究斯坦福s1的论文会发现,s1模型的神奇是以通义千问模型为基座进行微调,这1000个样本训练的作用更像是“锦上添花”,而非“从零开始”。

国内某知名大模型公司CEO也向《科创板日报》记者表示:“从论文原文来看,所谓用50美元训练出新的具有推理能力的模型,实际上只是用从谷歌模型中提炼出来的1000个样本,然后对通义千问模型进行监督微调。这种微调的成本确实很低,但明显是站在既有领先模型的‘肩上’才能做到。”

斯坦福s1论文原文也注明模型是以阿里通义千问模型为基础微调

谢伟迪指出,国内外还有其他团队也声称用极低的成本,训练出了具有推理能力的新模型。但一阅读其论文原文,就会发现它们无一例外都是基于通义模型作为基座进行的。

国外多位人工智能研究者也指出,不少的“新”模型都是建立通义模型基础上

“以通义千问模型作为基座,确实可以用很少的样本数据就达到产生新的推理模型的效果,但如果换成其他基座模型,新模型能力却没有任何的提升。所以,能力真正神奇的是Qwen模型,而不是s1。” 谢伟迪说。

▌低成本训练大模型有局限,但也是方向

尽管s1模型的低成本训练在某种程度上展示了AI训练的潜力,但其局限性也不容忽视。

首先,这种低成本训练依赖于已有的强大基座模型,如阿里通义千问模型。如果没有这样的基座模型,低成本训练的效果将大打折扣。

其次,1000个样本数据的训练量在大多数情况下是不够的,尤其是在需要处理复杂任务的场景中。

此外,低成本训练的成功也引发了对AI模型知识产权和伦理问题的讨论。如果越来越多的研究依赖于已有的基座模型进行微调,那么这些基座模型的开发者是否应该获得相应的回报?如何确保AI技术的公平使用和共享?这些问题都需要业界进一步探讨和解决。

尽管s1模型的低成本训练引发了争议,但其背后的研究思路无疑为AI领域提供了新的思考方向。

武汉人工智能学院一位资深研究人员向《科创板日报》记者表示,如何在保证模型性能的前提下,降低训练成本,是AI研究的一个重要课题。未来,随着技术的进步和算法的优化,或许我们真的能够看到更多低成本、高性能的AI模型问世。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-02-07 08:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

阿里云通义千问开源!70亿参数模型上线魔搭社区
【CNMO新闻】8月3日,AI模型社区魔搭ModelScope上架两款开源模型Qwen-7B和Qwen-7B-Chat
2023-08-03 17:00:00
本文转自:人民日报海外版美国斯坦福大学等机构研究团队近日宣布,在基座大模型基础上,仅耗费数十美元就开发出相对成熟的推理模型。尽管其整体性能尚无法比肩美国开放人工智能研究中心(Op
2025-02-27 05:08:00
始于安全,不止安全丨迪普科技AI基座解决方案发布
...李瑞对本次重磅发布新品作详细介绍 中国DeepSeek等AI大模型横空出世,在全球范围内掀起了巨大波澜,国产AI技术正以一种前所未有的迅猛态势重构各行各业的生态格局
2025-03-13 10:45:00
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
...。”华东理工大学·X-DLab(心动实验室)成员颜鑫表示,团队只用20万tokens的数据微调了Qwen基座模型,就获得了比另一家用百万级数据微调的模型更好的效果
2023-12-01 21:07:00
“上天”“入地”“下海” AI驱动中国科学创新加速前行
...再到距离地球38万公里的月球表面……中国科学院的科研团队,正以AI重构科研范式并取得现实突破。未来已来,在国家“人工智能+”行动的号角下,这场始于技术、终于认知的科技革命,正
2025-03-21 16:54:00
大模型慢半拍,字节甘做“嫁衣”?
...型上已有布局,会在语言和图像两方面发力,语言大模型团队由字节搜索部门牵头,目前团队规模在十数人左右;图片大模型团队则由产品研发与工程架构部下属的智能创作团队牵头。 另据《晚
2023-05-05 10:34:00
从云栖大会,看阿里的科技本色
...价的设备采购费用。而只有阿里巴巴看到了这一点,组建团队,在 2009 年,写下了第一行自研云计算系统的代码。 2012 年 BAT 论道云计算,李彦宏还在提云计算是新瓶装旧
2023-11-01 23:02:00
阿里云开源通义千问多模态大模型Qwen-VL 【阿里云开源通义千问多模态大模型Qwen-VL】《科创板日报》25日讯,阿里云今日推出大规模视觉语言模型Qwen-VL
2023-08-25 12:17:00
风口上的生成式AI:深度求索产业变革
...网记者 李彤 黄盛无论身处哪个行业,你一定感受到了大模型的热潮。不管是知识管理、对话应用,还是生成代码、设计研发,生成式人工智能(AI)正在深度求索产业变革。“在模型能力和性
2025-02-15 09:28:00
更多关于财经的资讯: