• 我的订阅
  • 科技

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

类别:科技 发布时间:2024-11-28 09:58:00 来源:量子位

只要改一行代码,就能让大模型训练效率提升至1.47倍。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

拥有得州大学奥斯汀分校背景四名华人学者,提出了大模型训练优化器Cautious Optimizers。

在提速的同时,Cautious能够保证训练效果不出现损失,而且语言和视觉模型都适用。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

该优化器以哈密顿量和下降动力学为理论基础,在加速的同时不影响收敛特性。

作者在600M到1B不同参数规模的Llama模型上进行了试验,获得了最高47%的加速率。

该研究相关代码已经开源,在GitHub上有使用方法的详细讲解。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

一行代码改进大模型训练

Cautious Optimizers在PyTorch当中增加的一行代码,核心思路是引入实现一种掩蔽机制,从而避免参数更新的方向与当前梯度方向相悖。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

因为这两个方向一旦不一致,就有可能导致损失函数暂时增加,造成收敛速度的减缓。

不过作者并未在方向不一致的来源问题上过度纠结,而是引入了一种判断机制,在参数更新之前增加一步计算,从而过滤掉方向不一致的情形。

这也正是上面代码的直接作用。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

△GD:梯度下降,GDM:带动量的梯度下降,C-GDM:本项目

具体来说,加入的两行代会对u和g两个向量求内积,u向量对应优化器给出的参数更新方向,而g向量对应当前时刻的梯度方向。

作者设计了一个对齐掩码函数ϕ,当u和g的内积小于0时(即方向不一致),ϕ的输出为0向量;当内积大于等于0时,ϕ的输出为全1向量。

而一旦ϕ为零向量时,w_t计算式中含u的项也会变为零向量,导致此项更新被跳过。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

这样就可以判断参数更新和梯度方向是否一致,如果不一致则不会用于参数更新,避免了训练过程中损失函数的回升。

训练效率提升47%

为了评估Cautious Optimizers的具体效果,作者分别在语言模型Llama和视觉模型MAE上进行了试验。

作者选取了60M、100M、350M和1B四种参数规模的Llama模型,在C4语料库上进行预训练。

优化器选用了AdamW和Lion,以及它们对应的Cautious版本:C-AdamW和C-Lion,每个实验中进行1万步迭代。

结果C-AdamW和C-Lion在所有规模上都表现出明显的收敛加速效果。

尤其是在1B规模上,相比原版的AdamW和Lion,它们的样本效率分别提高了47%和28%,这表明Cautious Optimizer能有效减少训练震荡,使收敛更平稳高效。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

并且,Cautious Optimizer在所有情况下都取得了更低的困惑度,印证了其出色的泛化性能。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

为了评估模型的实际效果,研究者在语句匹配、文本蕴含、情感分类等6个GLUE下游任务上测试了AdamW和C-AdamW优化后1B模型的表现,

结果表明,C-AdamW的平均得分比AdamW高出2%,在大多数任务上都取得了进步,说明Cautious跳过部分参数更新的方式不会引起模型性能下降。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

对于视觉模型,作者以ViT为骨干网络,在ImageNet-1K数据集上预训练了MAE模型。

由于视觉任务的特殊性,训练过程采用了随机遮挡图像块并重建的范式,因此优化目标是最小化重建误差,而非通常的分类损失。

作者对比了AdamW和C-AdamW的表现,即训练50轮后的最终重建误差,结果C-AdamW的误差为0.5926,低于AdamW的0.6085。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

一作曾在一周内复刻o1

本项目是由四名华人学者共同打造的。

第一作者Kaizhao Liang,是AI推理加速服务商SambaNova公司的一名高级ML工程师。

在o1模型发布一周内,该公司就推出了一个类似o1模型思考过程的开源平替,主要作者正是Liang。

1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品

其他三名作者是得州大学奥斯汀分校CS助理教授Qiang Liu,以及他的两名博士生,Lizhang Chen和Bo Liu。

此外,Liang的人工智能硕士学位也是从该校获得。

论文地址:https://arxiv.org/abs/2411.16085GitHub:https://github.com/kyleliang919/C-Optim

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-28 12:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...发团队还发布了Time-300B数据集,为时序分析提供了丰富的训练资源,为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代,时序预测已成为众多领域不可或
2024-10-23 09:55:00
全球首位AI程序员爆火,背后公司成立仅4个月,CEO才27岁
...我们接下来就来一探究竟。自主写代码,Debug还能“自己训练自己”首先,这位AI程序员长什么样?在演示视频中,Devin最开始拥有一个左右窗口并列的布局:左边是当前大语言模型
2024-03-15 09:21:00
最强AI程序员砸饭碗:84秒跑通代码 像人一样思考
...自我对弈、逐步验证等方法,还用到了基于大量标记数据训练的AI模型。好处是,当基础模型能力提升时,它们能够提取的数据质量也会相应提高。最终Genie使用该专有数据进行训练。数据
2024-08-13 14:46:00
炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元
...是一种用于双手遥控操作的低成本开源硬件系统,解决了训练需要人类操作员仔细指导的移动双手机器人的高成本和技术挑战。值得一提的是,Mobile Aloha 能实现以上操作,并非完
2024-01-06 20:00:00
国内团队新发大模型:ceo上阵写代码
...源的最大规模大语言模型。此外,团队还一并开源100G预训练数据、监督微调1G或100万条数据。基于TigerBot
2023-06-07 21:01:00
将偏好学习引入模型训练,北大李戈团队提出代码生成优化新框架
...习的问题有解了。北大李戈教授团队与字节合作,在模型训练过程中引入偏好学习,提出了一个全新的代码生成优化框架——CodeDPO
2024-11-28 09:57:00
百度文心大模型4.0技术进展
...文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。文心一言的基
2023-10-18 04:20:00
惊掉下巴!被字节起诉800万实习生,拿下NeurIPS 2024最佳论文
【新智元导读】太戏剧了!攻击字节训练集群的实习生,居然刚刚获得了NeurIPS 2024最佳论文奖?虽然看起来像爽文剧情,但这位高材生接下来的路,应该是难走了。刚刚,恶意攻击字节
2024-12-05 09:47:00
「虎博科技」发布自研多模态大模型TigerBot,开源模型、代码及数据 | 36氪首发
...衡事实性和创造性。”陈烨补充。这样的结果是,机器在训练模型中算力和数据的消耗,会比同等档次模型要小。 针对中文语境,虎博科技从分词器(Tokenizer)到训练算法等方面做
2023-06-07 13:04:00
更多关于科技的资讯:
龙头链主“挂帅” 合肥“创投城市计划”升级
大皖新闻讯 9月16日,随着“科聚零碳-科大硅谷全球合伙人走进零碳中心暨‘创投城市计划’新能源投资路演对接会”的举办,合肥“创投城市计划”实现全面升级
2025-09-18 15:31:00
9月8日,一位客户神色匆匆地来到行唐联社只里信用社,称需为父母办理社保卡开通业务,且次日就要报送账号用于打款。临柜工作人员接过相关资料
2025-09-18 11:19:00
【儒商巡礼】德州彩诗禾纺织有限公司董事长王波: 深耕纺织,“织”出新篇
鲁网9月18日讯(记者 吴美琳)从贸易领域起步,到自建实体工厂,再到打造差异化绿色纺织品牌,他始终以“进取”“守正”“仁爱”为底色
2025-09-18 11:28:00
本报讯 日前,中国文房四宝协会市场研究与督导专业委员会(以下简称“专委会”)“跨界赋能・智创未来”专题研学活动,在北京新发地农产品批发市场举办
2025-09-18 11:40:00
□ 左 鲤日前,上海博物馆以“清雍正粉彩蝠桃纹橄榄瓶”为原型设计的蝠桃瓶发光冰箱贴引发争议。有网友认为该文创产品的瓶底开孔与发光设计
2025-09-18 11:40:00
当前,人工智能、虚拟现实(VR)、超高清、多模态等新科技,正以“体验重构者”“需求激活者”“边界拓展者”的角色,为旅游新消费注入强劲动能
2025-09-18 11:45:00
第三届#SpainFoodNation峰会推动西班牙美食参与中国市场
近日,西班牙对外贸易发展和投资局(ICEX)携手西班牙农业渔业和食品部(MAPA)在上海举办了第三届#SpainFoodNation峰会
2025-09-18 11:46:00
山东九羊集团携钢铁大模型亮相全省“人工智能+”创新应用工作会议
9月17日,山东省“人工智能+”创新应用工作会议在济南举行。作为“人工智能+钢铁”领域的企业代表,山东九羊集团有限公司(以下简称山东九羊集团)受邀现场演示钢铁大模型应用实践
2025-09-18 12:27:00
浪潮助力四川教育大数据平台荣获IDC中国未来企业大奖·智慧城市特别奖
9月5日,2025 IDC中国未来企业大奖优秀奖名单正式揭晓,由四川省教育信息化与大数据中心主办,浪潮软件技术支持的“四川省教育大数据平台”建设项目荣获“2025 IDC中国未来企业大奖优秀奖”
2025-09-18 12:28:00
“痛金”让年轻人“上头” 黄金消费刮起“二次元风”
消费日报网讯(记者牛夏风)从“痛车”“痛包”到“痛衣”,“万物皆可痛”的风又吹到了黄金饰品上。“吉伊卡哇”联名款、《天官赐福》联名款
2025-09-18 13:17:00
海南三亚信兴超级体验店重装开业 多重优惠惠及消费者
消费日报网讯(记者郑红梅)9月19日至21日,海南三亚信兴电器超级体验店将迎来重装升级后的盛大开业。此次开业活动以“多重优惠叠加”为核心
2025-09-18 13:18:00
深信服AD以技术之力铸业务之基,稳居IDC市场份额第一
近日,国际数据公司(IDC)发布最新报告,深信服AD斩获2025Q2中国负载均衡市场占有率第一。这已是深信服AD连续多个季度领跑市场
2025-09-18 13:51:00
不差钱的腾讯,也开始借钱了?
A时隔四年后,腾讯再次发债,首发点心债。腾讯控股在港交所公告称,于2025年9月16日,公司已与经办人就根据计划发行本金总额90亿元的票据订立认购协议
2025-09-18 09:01:00
从“客户”到“伙伴”,济宁银行全周期金融服务构建财富管理新生态
鲁网9月18日讯济宁银行坚守“金融为民”初心,不断创新金融产品,完善服务渠道,努力为客户提供更加专业、更有温度的金融服务
2025-09-18 10:53:00
厦门网讯(厦门日报记者 林露虹)作为2025厦门国际动漫节配套活动,第三届游戏创业者路演系列活动(简称“游路演”)将于10月29日至30日举行
2025-09-18 08:20:00