- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏
?Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏
快科技6月7日消息，Intel官方宣布，旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2（Qwen2）的全球发布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。
为了最大限度地提升诸通义千问2等大模型的效率，Intel进行了全面的软件优化，包括高性能融合算子、平衡精度和速度的先进量化技术等。
Intel还采用KV Caching、PagedAttention机制和张量并行，提高推理效率。
Intel的硬件也可利用软件框架和工具包进行加速，并获得出色的大模型推理性能，包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库、vLLM。
首先看Intel Gaudi AI加速器，专为生成式AI、大模型的高性能加速而设计，最新版的Gaudi Optimum可以轻松部署新号的大模型。
Intel使用Gaudi 2，对70亿参数、720亿参数的通义千问2模型的推理和微调吞吐量进行了基准测试，以下为详细性能指标和测试结果：
70亿参数通义千问2在单颗Gaudi 2加速器上的推理
720亿参数通义千问2在八颗Gaudi 2加速器上的推理
通义千问2 FP8在Gaudi 2加速器上的推理
通义千问2在Gaudi 2加速器上的微调
再看Intel至强处理器，作为通用平台具有广泛的可用性，适用于各个规模的数据中心，对于希望快速部署AI解决方案、没有专项基础设施企业非常理想。
至强处理器的每个核心都内置了Intel AMX高级矩阵扩展，可以处理多样化的AI工作负载，并加速AI推理。
以上是在五代可扩展至强上运行阿里云ecs.ebmg8i.48xlarge实例，通义千问2的下一个推理token延迟情况。
最后是消费级的AI PC，可以在本地部署大模型，既然可以使用处理器内置GPU核显、NPU AI引擎，也可以搭配独立的锐炫显卡。
以下展示了AI PC运行15亿参数的通义千问2：
酷睿Ultra 7 165H上的通义千问2推理
酷睿 Ultra 7 165H上的通义千问2下一个token延迟
锐炫A770 16GB显卡上的通义千问2下一个token延迟
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-07-18 17:45:11
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
