• 我的订阅
  • 科技

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

类别:科技 发布时间:2025-02-07 17:44:00 来源:浅语科技

DeepSeek带火知识蒸馏,原作者现身爆料:原来一开始就不受待见。

称得上是“蒸馏圣经”、由Hinton、Oriol Vinyals、Jeff Dean三位大佬合写的《Distilling the Knowledge in a Neural Network》,当年被NeurIPS 2014拒收。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

如何评价这篇论文的含金量?

它提出了知识蒸馏这一概念,能在保证准确率接近的情况下,大幅压缩模型参数量,让模型能够部署在各种资源受限的环境。

比如Siri能够出现在手机上,就是用知识蒸馏压缩语音模型。

自它之后,大模型用各种方法提高性能上限,再蒸馏到小模型上已经成为一种行业标配。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

再来看它的主创阵容。

Hinton,深度学习之父,如今已是诺奖得主。

Oriol Vinyals,Google DeepMind研究科学家,参与开发的明星项目包括TensorFlow、AlphaFold、Seq2Seq、AlphaStar等。

Jeff Dean,Google DeepMind首席科学家、从2018年开始全面领导谷歌AI。大模型浪潮里,推动了PaLM、Gemini的发展。

不过,那又怎样?

主创之一Oriol Vinyals表示,因为缺乏创新和影响力,这篇论文被拒啦。谢谢审稿人(字面意思),谢谢arxiv!

方法简单、适用于各种模型

简单粗暴总结,《Distilling the Knowledge in a Neural Network》是一篇更偏工程性改进的文章,但是带来的效果提升非常显著。

Caruana等人在2006年提出了将集成知识压缩到单模型的可能性,论文中也明确提到了这一点。

Hinton等人的工作是提出了一种简单有效的知识迁移框架,相较于Caruana团队的方法更加通用。

方法看上去非常简单:

用软目标代替硬目标

在softmax层加入温度参数T。当T=1时,就是普通的softmax输出。T越大,输出的概率分布越平滑(soft)。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

他们认为此前人们习惯性地将模型中的知识与模型的具体参数绑定在一起,因此很难想到该如何在改变模型结构的同时仍旧保留这些知识。

如果把知识看作是输入向量到输出向量的一个抽象映射,而不是某种固定的参数实现,就能更容易理解如何将知识从一个模型转移到另一个模型。

知识蒸馏的关键就是让小模型模仿大模型的“理解方式”,如果大模型是多个模型的集成,表现出很强的泛化能力,那就通过蒸馏训练小模型去学习这种泛化方式,这种方法能让小模型集成大模型的知识精髓,同时更适合实际应用部署。

怎么将泛化能力转移?

让大模型生成类别概率作为软目标,以此训练小模型。

在这个转移阶段,使用与原始训练相同的数据集,或者单独准备一个“迁移”数据集。

如果大模型是由多个模型集成,那就取它们的预测平均值。

软目标的特点是,它具有高熵时(即预测的概率分布更平滑),每个训练样本中包含的信息量比硬目标要多得多,训练样本之间的梯度变化也更小。

因此,用软目标训练小模型时,往往可以使用比原始模型更少的数据,并且可以采用更高的学习率。

小模型可以用无标签数据或原始训练。如果用原始训练数据,可以让小模型同时学习来自大模型的软目标和真实标签,这样效果会更加好。

具体方法是使用软目标的交叉熵损失、真实标签的交叉熵损失两个目标函数加权平均。如果真实标签的交叉熵损失权重较小时,往往能获得最佳效果。

此外,他们还发现软目标的梯度大小随着T?缩放,同时使用真实标签和软目标时,比如将软目标的梯度乘以T?,这样可以确保在调整蒸馏温度这一超参数时,硬目标和软目标的相对贡献保持大致不变。

实验结果显示,在MINIST数字时延中,教师模型(1200层)的错误案例为67个,学生模型(800层)使用蒸馏后的错误案例为74个。

在JFT数据集上,基准模型的错误率为27.4%,集成模型的错误率为25%。蒸馏模型错误率为25.6%,效果接近集成模型但计算量大幅减少。

语音识别实验上,蒸馏模型也达到了与集成模型相同的性能,但是仅使用了3%的训练数据。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

或许还有很多沧海遗珠

值得一提的是,Vinyals还表示,提出了LSTM的Jürgen Schmidhuber在1991年发表的一篇文章,这可能与现在火热的长上下文息息相关。

他提到的应该是《Learning complex, extended sequences using the principle of history compression》这篇论文。其核心内容是利用历史压缩的原则,即通过模型结构和算法将序列的历史信息有效地编码和存储,从而减少处理长序列时的计算开销,同时保留关键的信息。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

有人就说,不妨设置一个时间检验奖颁给那些未被接收的论文吧。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

同时也有人在这个话题下想到了DeepSeek。

曾在苹果、谷歌工作过的Matt Henderson表示,DeepSeek做的蒸馏只是基于教师模型输出的微调,并没有用到软目标(因为模型的分词方式不同)。

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

Vinyals回应说,那看来我们取蒸馏这个名字真的不错~

被DeepSeek带火的知识蒸馏 开山之作曾被拒:诺奖得主坐镇都没用

参考链接:

[1]https://x.com/OriolVinyalsML/status/1887594344183701814

[2]https://arxiv.org/abs/1503.02531

责任编辑:落木

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-02-07 20:45:07

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

大模型不是未来?你需要学习下图灵奖得主Yann LeCun选择的“世界模型”
最近一段时间,以 GPT 为代表的大型语言模型(LLM)成就非凡,应用丛生,还被很多人视为实现通用人工智能(AGI)的重大里程碑,也由此带来了一些「大规模失业论」甚至「AI 末日
2023-06-26 13:37:00
图灵奖得主杨立昆:AI的逻辑推理和规划能力有限,会犯事实错误和逻辑错误
出品|搜狐科技作者|郑松毅6月9日,2023智源人工智能大会在北京举办。法国当地时间凌晨四点,被誉为“世界深度学习三巨头”之一的杨立昆(Yann LeCun)在法国视频连线北京现
2023-06-10 05:00:00
重磅!OpenAI o1模型还没有实现真正的逻辑推理能力
...其AI系统在今年国际数学奥林匹克(IMO)中首次取得与银牌得主同等的成绩, Anthropic在 6月推出了Claude 3
2024-09-18 15:01:00
超越YOLOv10/11、RT-DETRv2/3!D-FINE重新定义边界框回归任务
...传递,又可以保持一致的优化目标。新任诺贝尔物理学奖得主 Geoffrey Hinton 在《Distilling the Knowledge in a Neural Network》一文中提到
2024-10-30 09:52:00
...机器人、智能驾驶等领域。同时,本届WAIC共包括图灵奖得主、诺奖得主等共计1400余名重磅嘉宾参与超过100个论坛。在7月7日上午的“大模型时代的通用人工智能产业发展机遇以及
2023-07-07 17:06:00
实现AGI之前 全球AI大佬在这4个关键问题上吵起来了
...(大型语言模型),GPT系统将很快被抛弃。”这是图灵奖得主、Meta首席AI科学家、纽约大学教授Yann LeCun(杨立昆)在今年智源大会上发表的观点
2023-06-13 15:03:00
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...论文一作为华人学者Tianhao Wu,导师之一是2011年清华特奖得主焦剑涛。团队提出了一种称作思考偏好优化(Thought Preference Optimization)的方法
2024-10-29 09:58:00
国产模型指令跟随全球第一!来自LeCun亲推的最难作弊LLM新榜单
...SYS Chatboat Arena)那么广为人知,但资格杠杠的——图灵奖得主、Meta首席AI科学家杨立昆(Yann LeCun)
2024-11-22 09:54:00
AI教父辛顿:假设青蛙创造人类,现在占主动权的是人还是青蛙?
...与比自己更智能的存在共处?杰弗里·辛顿是2018年图灵奖得主、“深度学习之父”,也被称为“AI教父”,曾任谷歌公司副总裁。他在神经网络和深度学习方面的开创性研究为当前的人工智
2023-06-12 13:01:00
更多关于科技的资讯:
据IDC与《2025中国生成式AI搜索生态白皮书》联合数据显示,截至2025年第三季度,中国GEO服务市场规模已达220亿元
2025-10-25 21:09:00
周一围与博斯绅威共赴“轻装之约”,解锁网球生活新方式
金秋济南,共赴网球生活时光。10月25日下午,博斯绅威携品牌体验官、著名演员周一围先生,在济南银座商城举办了一场主题为“轻装上阵
2025-10-26 12:28:00
曹县汉服“遇上”拼多多:95后的创业翻盘记
鲁网10月24日讯曹县,素有“中国汉服产业重镇”之称,曾见证无数小微创业者在行业竞争中艰难求索。对许多创业者而言,汉服市场度过初期蓝海阶段后
2025-10-24 14:29:00
突破光谱检测瓶颈!中国计量大学本科生团队研制高分辨率光谱仪
通讯员:吴瑞鹏 何秋阳近日,第十九届“挑战杯”全国大学生课外学术科技作品竞赛正火热备赛中,全国高校参赛队伍蓄势待发。中国计量大学光学与电子科技学院本科生团队项目——“基于微反射镜阵列的高分辨率光谱仪”
2025-10-24 15:02:00
开普勒机器人登陆IROS 2025 以开放平台携手全球开发者共筑新生态
10月19日至25日,全球机器人领域两大顶级国际会议之一的2025年IEEE/RSJ智能机器人与系统国际会议(IROS 2025)在杭州隆重举行
2025-10-24 15:02:00
蓝月亮:用十二年为洁净艺术种下一棵“树”
10月23日,第十七届国际大学生暨青年艺术博览会(简称:大艺博)开幕。在武汉东部的中国光谷科技会展中心10000平方米的专业展馆内
2025-10-24 15:14:00
京东工业与南方电网供应链集团签署战略合作 以数智技术驱动供应链全面升级
10月20日,京东工业与南方电网供应链集团在广州正式签署战略合作协议,双方相关负责人出席签约仪式。此次合作标志着京东集团与南方电网在供应链领域的协作迈入全新阶段
2025-10-24 15:23:00
从OS到AI OS:荣耀MagicOS 10定义AI OS新时代
2025年10月23日,荣耀全球开发者大会暨AI终端生态大会在深圳坪山燕子湖国际会展中心隆重举行。本次大会系统阐释了MagicOS 10的品牌战略与发展路径
2025-10-24 15:32:00
最后窗口期!2025FHC上海环球食品展免费领票即将截止
2025FHC上海环球食品展已进入开幕倒计时!这场被誉为“全球食饮贸易超级接口”的盛会,已成为零售买家囤货、拓品的关键“战场”—20万㎡展出面积
2025-10-24 15:47:00
K90定价后引热议闪电降价,雷军:标准版12GB+512GB 版本首销月直降300元
2025年10月23日的红米K90发布会后,12GB+512GB版本原定价为3199元,但因用户反馈该版本与其他配置差价过大
2025-10-24 15:57:00
iPhone 17系列首批用户反应褪色? 苹果官方客服回应
近日,部分苹果 iPhone 17 Pro 及 iPhone 17 Pro Max 的首批用户在社交平台反映,其设备遭遇了机身褪色问题
2025-10-24 15:59:00
阿里夸克AI眼镜开启预售 体验者:轻若无物,稳如长在脸上“看一眼”就能支付
阿里巴巴首款自研AI眼镜——夸克AI眼镜24日0时在夸克智能设备天猫旗舰店开启预售。88VIP会员实际到手价为3699元
2025-10-24 16:35:00
河北新闻网讯(梁轩轩)“原以为开业办税很繁琐,没想到这么简单!”近日,石家庄市桥西区律吕五金产品商行法人柴浩在桥西区税务局办税大厅完成税务申报后
2025-10-24 16:59:00
近日,瑞众人寿河北分公司在保定举办了2025年嘉年华客服节系列活动之“养老规划线下体验日”活动,通过创新融合中医药文化
2025-10-24 17:06:00
“尖货”频出!临安这里科技含量UpUpUp
是一场什么样的比赛技术“尖货”频出“硬核”创新不断近日,2025“海康创行・瓴创青山”智能物联青山湖科技城高层次人才创业大赛第二期
2025-10-24 17:07:00