- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
pytorchtorchao正式发布,提供了一系列优化工具集
10月2日消息，据PyTorch新闻稿，PyTorch旗下架构优化库torchao现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和RAM用量，从而提升模型运行效率，IT之家附GitHub页面地址（点此访问）。
据介绍，torchao提供了一系列优化工具集，可以帮助LLaMA3等流行的AI模型提升性能，其支持float8、int4等低精度数据类型，能够有效减少硬件开销和RAM用量。
官方举例，在LLaMA370B模型的预训练中，torchao提供的float8训练流程可将模型计算速度提升1.5倍。开发者只需利用convert_to_float8_training函数，即可将模型训练转换为float8，从而轻松实现模型高效训练。
在推理方面，torchao提供多种量化方法，包括权重量化（Weight-OnlyQuantization）和动态激活量化（DynamicActivationQuantization），用户可以自有选择适合的量化策略，以获得最佳的模型推理性能。
在稀疏性优化方面，torchao可以优化模型参数计算效率，据称可让ViT-H模型的推理速度提升5%。同时，torchao还可以将权重量化为int4，并将键值缓存量化为int8，可令LLaMA3.18B在完整的128K上下文长度下仅占用18.9GB的显存。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-10-03 08:45:03
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
