- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
微软推出ZeRO++技术，可显著减少AI大模型训练时间和成本
微软研究人员日前推出了名为ZeRO++的新技术，用于优化在训练大型AI模型时，容易遇到的数据传输成本和带宽限制的难题，可显著减少大模型训练时间和成本。
据悉，ZeRO++建立在现有的ZeRO传输技术基础上，并提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。
▲图源微软
为了减少参数通信量，ZeRO++可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始Zero传输技术更快更准确。为了能够尽量减少通信开销，ZeRO++通过在每台机器上保持完整的模型副本，以向GPU显存换取通信带宽。而在梯度通信方面，ZeRO++引入了一种名为qgZ的新的量化梯度通信方式，可以减少跨节点的流量和延迟。
▲图源微软
这些改进的通信技术大大减少了通信量，微软研究人员表示，与ZeRO相比，ZeRO++减少了高达4倍的通信量，提高了训练吞吐量和效率。当在每个GPU上使用小批量大小时，在高带宽集群中，ZeRO++相比ZeRO-3的吞吐量提高了28%至36%。在低带宽集群中，与ZeRO-3相比，ZeRO++实现了平均2倍的加速，使得大模型训练在更多种类的集群上更为可行。
注：例如Turing-NLG、ChatGPT和GPT-4这样的大型模型，其训练需要跨多个GPU设备占用大量显存和计算资源，而ZeRO++引入了通信优化策略，以克服在低带宽集群上进行训练时原有ZeRO传输技术的带宽限制。目前微软已经放出了相关技术文档，研究人员可以利用ZeRO++更有效地训练模型，在AI领域探索新的可能性。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-06-28 06:45:31
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
