• 我的订阅
  • 科技

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

类别:科技 发布时间:2024-07-18 14:57:00 来源:云间有月

?Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

快科技6月7日消息,Intel官方宣布,旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2(Qwen2)的全球发布提供支持,已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。

为了最大限度地提升诸通义千问2等大模型的效率,Intel进行了全面的软件优化,包括高性能融合算子、平衡精度和速度的先进量化技术等。

Intel还采用KV Caching、PagedAttention机制和张量并行,提高推理效率。

Intel的硬件也可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库、vLLM。

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

首先看Intel Gaudi AI加速器,专为生成式AI、大模型的高性能加速而设计,最新版的Gaudi Optimum可以轻松部署新号的大模型。

Intel使用Gaudi 2,对70亿参数、720亿参数的通义千问2模型的推理和微调吞吐量进行了基准测试,以下为详细性能指标和测试结果:

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

70亿参数通义千问2在单颗Gaudi 2加速器上的推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

720亿参数通义千问2在八颗Gaudi 2加速器上的推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

通义千问2 FP8在Gaudi 2加速器上的推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

通义千问2在Gaudi 2加速器上的微调

再看Intel至强处理器,作为通用平台具有广泛的可用性,适用于各个规模的数据中心,对于希望快速部署AI解决方案、没有专项基础设施企业非常理想。

至强处理器的每个核心都内置了Intel AMX高级矩阵扩展,可以处理多样化的AI工作负载,并加速AI推理。

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

以上是在五代可扩展至强上运行阿里云ecs.ebmg8i.48xlarge实例,通义千问2的下一个推理token延迟情况。

最后是消费级的AI PC,可以在本地部署大模型,既然可以使用处理器内置GPU核显、NPU AI引擎,也可以搭配独立的锐炫显卡。

以下展示了AI PC运行15亿参数的通义千问2:

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

酷睿Ultra 7 165H上的通义千问2推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

酷睿 Ultra 7 165H上的通义千问2下一个token延迟

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

锐炫A770 16GB显卡上的通义千问2下一个token延迟

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-18 17:45:11

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

阿里云开源通义千问 70 亿参数模型,免费、可商用
据36氪报道,今日阿里云开源通义千问70亿参数模型,包括通用模型Qwen-7B和对话模型Qwen-7B-Chat,两款模型均已上线魔搭社区,开源、免费、可商用。此举让阿里云成为国
2023-08-03 17:18:00
阿里云通义千问开源!70亿参数模型上线魔搭社区
...Scope上架两款开源模型Qwen-7B和Qwen-7B-Chat,阿里云确认其为通义千问70亿参数通用模型和对话模型
2023-08-03 17:00:00
阿里云发布通义千问2.5,性能赶超GPT-4 Turbo
通义大模型发布一周年之际,迎来重要的历史性时刻。5月9日,阿里云正式发布通义千问2.5,模型性能全面赶超GPT-4 Turbo
2024-05-09 12:00:00
从云栖大会,看阿里的科技本色
...巴巴宣布了自研大模型的最新进展——千亿级参数规模的通义千问 2.0 正式发布。阿里巴巴宣布,通义千问 2.0 在 10 个权威测评中全面超越 GPT-3
2023-11-01 23:02:00
本文转自:新华网12月1日,阿里云通义千问720亿参数模型Qwen-72B宣布开源。该模型基于3T tokens高质量数据训练
2023-12-01 13:33:00
阿里云通义千问大模型首批通过备案,正式向公众开放
9月13日消息,阿里云今日宣布通义千问大模型已首批通过备案,并正式向公众开放。IT之家小伙伴可登录通义千问官网(https://qianwen
2023-09-13 15:15:00
MediaTek携手阿里云在天玑移动平台完成通义千问大模型端侧部署
...与阿里云达成深度合作,双方在天玑9300移动平台上完成通义千问大模型小尺寸版本的端侧部署,该部署可适配天玑8300移动平台,可实现离线状态下即时且精准的多轮人机对话问答。未来
2024-03-28 15:35:00
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
时隔一个月,通义千问又放大招了!在一个月前的阿里云栖大会上,阿里正式发布通义千问2.0版本,在复杂指令理解、文学创作、通用数学、知识记忆、幻觉抵御等能力上,都有较大提升。并且,阿
2023-12-01 21:07:00
通义千问发布半年,大模型已不是阿里云唯一主角 | 焦点分析
...又无处不在。做AI时代的“电动机” 今年4月正式亮相的通义千问,是阿里云自研的底层通用大模型。半年过去,如今阿里云正式推出通义千问的2.0版本,参数已达千亿,在各项评测集中,
2023-11-03 14:33:00
更多关于科技的资讯:
佳盛机电乘风而上,今年前8月产值同比增长超38%抢占新赛道,270多名员工假期忙“冲刺”南报网讯(通讯员单维亮记者张希)“我们是智能电网产业链条上的配套企业
2025-10-07 08:41:00
培育壮大十大千亿级产业集群丨十堰臻融:创新与技改“双轮”驱动 产值同比增长30%
十堰广电讯(全媒体记者 何旭 通讯员 胡新)科技创新是提升核心竞争力关键。十堰臻融汽车科技有限公司以智能化装备升级与专利技术研发为双引擎
2025-10-07 20:43:00
沉浸式AR科技盛宴:打造“可触摸”的科普实验室,重构科普新形态
这个国庆去哪玩?中国科学技术馆告诉你!2025年10月1日——10月7日由中国科学技术馆、北京峰火文化科技有限公司、Rokid联合打造的以“探境・AR科技智慧”为主题的AR体验活动正火热开展中
2025-10-07 09:05:00
2025年全国大学生计算机大赛总决赛落幕 西工大获奖数量质量再创新高
近日,2025年全国大学生计算机系统能力大赛各赛道总决赛圆满落幕。本届大赛吸引了来自清华大学、北京大学、复旦大学、华中科技大学
2025-10-07 11:40:00
太划算!遵义多重补贴点燃消费热情
多彩贵州网讯国庆中秋“双节”同至,遵义市推出的“悦·遵义‘双节’欢乐购”促消费活动覆盖整个长假,其中“焕新过节·乐享生活”家电家居促销活动形式丰富
2025-10-07 14:51:00
□南京日报/紫金山新闻记者 张安琪9月23日,2025南京金秋经贸洽谈会开幕式上,一批全球首个、国内首批、性能全球最高的科技成果密集亮相
2025-10-06 09:49:00
国庆中秋长假期间,新能源汽车已成为众多家庭出游的重要选择。为进一步破解高速服务区“充电难、排队久”的现实困境,山西交控集团坚持“科技创新+服务升级”双轮驱动
2025-10-06 18:01:00
邮储信用卡气球雨惊喜派对即将空降青岛李沧万达,国庆中秋邀您共启幸运之旅!
鲁网9月30日讯2025年国庆、中秋双节同庆之际,为回馈广大市民与持卡人长期以来的支持,邮储银行青岛分行将于10月1日-8日
2025-10-06 14:11:00
□南京日报/紫金山新闻记者 于洁尘 通讯员陈天骄“干我们这行的,哪有节假日?越是假期越要忙。”10月5日一大早,28岁的陈潇离开南京
2025-10-06 09:48:00
节日我在岗丨十堰高周波:抓创新赶订单 全力冲刺年度目标
十堰广电讯(全媒体记者 陈林)在国庆中秋假期,位于十堰经济开发区的十堰高周波科工贸有限公司抓创新赶订单,全力冲刺年度目标
2025-10-05 20:21:00
节日我在岗丨艾斯卓智能科技:节日不休 赶制订单
十堰广电讯(全媒体记者 耿吉国)放假不放松,生产不停工。国庆中秋长假,我市各生产企业铆足干劲抓生产、赶订单,奋力冲刺年度目标任务
2025-10-05 20:21:00
普阳钢铁工程机械用高强高韧宽厚板全国市场占有率名列前茅一块宽厚板的靶向发力——“铁疙瘩”怎样变成“金娃娃”(十)从矿山到港口
2025-10-05 07:47:00
人气旺 厦门多个商场假日客流爆棚、销售额亮眼
集美大悦城商圈内,小朋友和机器人亲密互动。(本组图/厦门日报记者 黄晓珍 摄)国庆中秋假期, 厦门SM购物中心潮玩店内人气火爆
2025-10-04 09:20:00
省数据和政务服务局发布公告公开征集一批河北省高质量数据集河北日报讯(记者解楚楚)9月26日,河北省数据和政务服务局发布公告
2025-10-04 08:03:00
央媒看太原9月30日,央视财经频道《经济信息联播》栏目以《双节市场备货足美食特产受青睐》为题,报道了假期到来,太原市各大综合市场提前备货
2025-10-04 07:17:00