• 我的订阅
  • 科技

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

类别:科技 发布时间:2025-02-07 17:44:00 来源:浅语科技

DeepSeek带火知识蒸馏,原作者现身爆料:原来一开始就不受待见。

称得上是“蒸馏圣经”、由Hinton、Oriol Vinyals、Jeff Dean三位大佬合写的《Distilling the Knowledge in a Neural Network》,当年被NeurIPS 2014拒收。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

如何评价这篇论文的含金量?

它提出了知识蒸馏这一概念,能在保证准确率接近的情况下,大幅压缩模型参数量,让模型能够部署在各种资源受限的环境。

比如Siri能够出现在手机上,就是用知识蒸馏压缩语音模型。

自它之后,大模型用各种方法提高性能上限,再蒸馏到小模型上已经成为一种行业标配。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

再来看它的主创阵容。

Hinton,深度学习之父,如今已是诺奖得主。

Oriol Vinyals,Google DeepMind研究科学家,参与开发的明星项目包括TensorFlow、AlphaFold、Seq2Seq、AlphaStar等。

Jeff Dean,Google DeepMind首席科学家、从2018年开始全面领导谷歌AI。大模型浪潮里,推动了PaLM、Gemini的发展。

不过,那又怎样?

主创之一Oriol Vinyals表示,因为缺乏创新和影响力,这篇论文被拒啦。谢谢审稿人(字面意思),谢谢arxiv!

方法简单、适用于各种模型

简单粗暴总结,《Distilling the Knowledge in a Neural Network》是一篇更偏工程性改进的文章,但是带来的效果提升非常显著。

Caruana等人在2006年提出了将集成知识压缩到单模型的可能性,论文中也明确提到了这一点。

Hinton等人的工作是提出了一种简单有效的知识迁移框架,相较于Caruana团队的方法更加通用。

方法看上去非常简单:

用软目标代替硬目标

在softmax层加入温度参数T。当T=1时,就是普通的softmax输出。T越大,输出的概率分布越平滑(soft)。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

他们认为此前人们习惯性地将模型中的知识与模型的具体参数绑定在一起,因此很难想到该如何在改变模型结构的同时仍旧保留这些知识。

如果把知识看作是输入向量到输出向量的一个抽象映射,而不是某种固定的参数实现,就能更容易理解如何将知识从一个模型转移到另一个模型。

知识蒸馏的关键就是让小模型模仿大模型的“理解方式”,如果大模型是多个模型的集成,表现出很强的泛化能力,那就通过蒸馏训练小模型去学习这种泛化方式,这种方法能让小模型集成大模型的知识精髓,同时更适合实际应用部署。

怎么将泛化能力转移?

让大模型生成类别概率作为软目标,以此训练小模型。

在这个转移阶段,使用与原始训练相同的数据集,或者单独准备一个“迁移”数据集。

如果大模型是由多个模型集成,那就取它们的预测平均值。

软目标的特点是,它具有高熵时(即预测的概率分布更平滑),每个训练样本中包含的信息量比硬目标要多得多,训练样本之间的梯度变化也更小。

因此,用软目标训练小模型时,往往可以使用比原始模型更少的数据,并且可以采用更高的学习率。

小模型可以用无标签数据或原始训练。如果用原始训练数据,可以让小模型同时学习来自大模型的软目标和真实标签,这样效果会更加好。

具体方法是使用软目标的交叉熵损失、真实标签的交叉熵损失两个目标函数加权平均。如果真实标签的交叉熵损失权重较小时,往往能获得最佳效果。

此外,他们还发现软目标的梯度大小随着T?缩放,同时使用真实标签和软目标时,比如将软目标的梯度乘以T?,这样可以确保在调整蒸馏温度这一超参数时,硬目标和软目标的相对贡献保持大致不变。

实验结果显示,在MINIST数字时延中,教师模型(1200层)的错误案例为67个,学生模型(800层)使用蒸馏后的错误案例为74个。

在JFT数据集上,基准模型的错误率为27.4%,集成模型的错误率为25%。蒸馏模型错误率为25.6%,效果接近集成模型但计算量大幅减少。

语音识别实验上,蒸馏模型也达到了与集成模型相同的性能,但是仅使用了3%的训练数据。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

或许还有很多沧海遗珠

值得一提的是,Vinyals还表示,提出了LSTM的Jürgen Schmidhuber在1991年发表的一篇文章,这可能与现在火热的长上下文息息相关。

他提到的应该是《Learning complex, extended sequences using the principle of history compression》这篇论文。其核心内容是利用历史压缩的原则,即通过模型结构和算法将序列的历史信息有效地编码和存储,从而减少处理长序列时的计算开销,同时保留关键的信息。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

有人就说,不妨设置一个时间检验奖颁给那些未被接收的论文吧。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

同时也有人在这个话题下想到了DeepSeek。

曾在苹果、谷歌工作过的Matt Henderson表示,DeepSeek做的蒸馏只是基于教师模型输出的微调,并没有用到软目标(因为模型的分词方式不同)。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

Vinyals回应说,那看来我们取蒸馏这个名字真的不错~

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

参考链接:

[1]https://x.com/OriolVinyalsML/status/1887594344183701814

[2]https://arxiv.org/abs/1503.02531

责任编辑:落木

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-02-07 20:45:07

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

大模型不是未来?你需要学习下图灵奖得主Yann LeCun选择的“世界模型”
最近一段时间,以 GPT 为代表的大型语言模型(LLM)成就非凡,应用丛生,还被很多人视为实现通用人工智能(AGI)的重大里程碑,也由此带来了一些「大规模失业论」甚至「AI 末日
2023-06-26 13:37:00
图灵奖得主杨立昆:AI的逻辑推理和规划能力有限,会犯事实错误和逻辑错误
出品|搜狐科技作者|郑松毅6月9日,2023智源人工智能大会在北京举办。法国当地时间凌晨四点,被誉为“世界深度学习三巨头”之一的杨立昆(Yann LeCun)在法国视频连线北京现
2023-06-10 05:00:00
重磅!OpenAI o1模型还没有实现真正的逻辑推理能力
...其AI系统在今年国际数学奥林匹克(IMO)中首次取得与银牌得主同等的成绩, Anthropic在 6月推出了Claude 3
2024-09-18 15:01:00
超越YOLOv10/11、RT-DETRv2/3!D-FINE重新定义边界框回归任务
...传递,又可以保持一致的优化目标。新任诺贝尔物理学奖得主 Geoffrey Hinton 在《Distilling the Knowledge in a Neural Network》一文中提到
2024-10-30 09:52:00
...机器人、智能驾驶等领域。同时,本届WAIC共包括图灵奖得主、诺奖得主等共计1400余名重磅嘉宾参与超过100个论坛。在7月7日上午的“大模型时代的通用人工智能产业发展机遇以及
2023-07-07 17:06:00
实现AGI之前 全球AI大佬在这4个关键问题上吵起来了
...(大型语言模型),GPT系统将很快被抛弃。”这是图灵奖得主、Meta首席AI科学家、纽约大学教授Yann LeCun(杨立昆)在今年智源大会上发表的观点
2023-06-13 15:03:00
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...论文一作为华人学者Tianhao Wu,导师之一是2011年清华特奖得主焦剑涛。团队提出了一种称作思考偏好优化(Thought Preference Optimization)的方法
2024-10-29 09:58:00
国产模型指令跟随全球第一!来自LeCun亲推的最难作弊LLM新榜单
...SYS Chatboat Arena)那么广为人知,但资格杠杠的——图灵奖得主、Meta首席AI科学家杨立昆(Yann LeCun)
2024-11-22 09:54:00
AI教父辛顿:假设青蛙创造人类,现在占主动权的是人还是青蛙?
...与比自己更智能的存在共处?杰弗里·辛顿是2018年图灵奖得主、“深度学习之父”,也被称为“AI教父”,曾任谷歌公司副总裁。他在神经网络和深度学习方面的开创性研究为当前的人工智
2023-06-12 13:01:00
更多关于科技的资讯:
厦门网讯(厦门日报记者 林露虹)记者昨日从中国移动咪咕公司获悉,该公司打造的“鼓浪屿AI伴游”服务已正式上线。市民和游客只需打开“鼓浪屿元宇宙”微信小程序
2025-10-02 08:57:00
“中国脑机谷”落户新奥新智感知产业园 政企研协同构建脑机接口产业新生态
河北新闻网讯(张新)9月26日,脑机接口产业联盟首届“脑机接口50人论坛”暨天津脑机接口产业创新发展推进会举办。会上,由新奥集团旗下的天津新智感知科技有限公司
2025-10-01 08:40:00
国网三明供电公司:守护灯火庆华诞 主动运维显担当
国网三明供电公司检修人员及时更换损坏器件并调整传动系统并完成设备修复及全套试验。(纪长添 摄)东南网10月1日讯 9月28日
2025-10-01 09:19:00
9月26日,由华东政法大学与上海星瀚律师事务所联合主办的第三届“星瀚杯”走进企业的法律课公益大赛正式启动。腾讯云作为大赛的技术支持单位
2025-10-01 09:56:00
平望实小承办吴江区骨干教师(数学)讲学团活动
为进一步发挥吴江区骨干教师的示范和辐射作用,推进课堂教学改革,有效提升教师教学业务能力。2025年9月24日,由苏州市吴江区教师发展中心主办的2025年吴江区骨干教师(数学)讲学团活动在平望实验小学举行
2025-10-01 09:58:00
AI技术让抗战文物“活起来”,人民日报数字传播联合百度推抗战文物智能体
9月30日,由人民日报数字传播与中国国家博物馆、中国人民大学、百度文心大模型、百度百科联合出品的《80年,80件》智能体和3D文物词条正式上线
2025-10-01 10:00:00
新时达2025工博会圆满落幕 | STEP 2.0战略引领智能制造新篇章
2025年9月23日至27日,第二十五届中国国际工业博览会在国家会展中心(上海)盛大举行。新时达以"智拓无界 共创未来"为主题
2025-10-01 10:00:00
从课堂到产线,河北工大学子开展智慧物流与“地狼”系统自动化技术实训
河北新闻网讯(胡广涛)组装调试机器人、体验智慧仓储系统、探索自动化技术前沿……近日,河北工业大学人工智能与数据科学学院2022级自动化专业全体学生在廊坊分校
2025-10-01 11:12:00
中国青年报客户端讯(中青报·中青网记者 夏瑾)9月30日,由湖州师范学院音乐学院、湖州市音声数据挖掘与智能服务重点实验室主办的“1617系列明代魏氏乐虚拟乐器音源”全球发布会在浙江省杭州市举办
2025-10-01 14:11:00
“智慧武当”给游客带来数字文旅新体验
十堰广电讯(通讯员 汪伟 周琼 耿宇)“一部手机游武当”预约购票、AI导游、《入境武当》VR大空间、问道武当数字客厅……国庆假日
2025-10-01 18:35:00
津云文旅电商版块上线 首发“笑漾海河”优选线路 扫码阅读手机版
10月1日,天津鹏欣水游城14周年庆暨津云新媒体“笑漾海河”文旅电商线路首发仪式成功举办。近年来,随着“文旅+电商”模式的快速发展
2025-10-01 18:55:00
陕西数字贸易闪耀第四届数贸会 数字贸易合作成果丰硕
9月29日,为期5天的第四届全球数字贸易博览会(以下简称“数贸会”)在浙江杭州大会展中心圆满落下帷幕。此次盛会,陕西代表团表现亮眼
2025-10-01 18:58:00
高德扫街榜国庆提醒:全国十大吃货友好高铁站看这里
2025年国庆节与中秋节叠加,全国铁路预计发送旅客2.19亿人次。赶高铁如何吃饱吃好?今天,高德扫街榜发布“十大吃货友好高铁站”
2025-10-01 20:19:00
能效提升15%,山东港口日照港顺岸式全自动化码头再迎新突破
9月29日,在山东港口日照港全自动化集装箱码头,随着A23自动化轨道吊精准将集装箱吊起、转运,标志着日照港研发的新一代双悬臂轻量化轨道吊投产试运行
2025-10-01 23:08:00
健康之旅,“媒”好同行!爱康集团烟威区域媒体开放日圆满结束
为构建与公众的沟通桥梁,让烟威人民更好地了解爱康的医疗品质及优质体检服务,9月25日下午爱康集团烟威区域媒体开放日活动于爱康莱山区分院成功举办
2025-10-01 20:51:00