• 我的订阅
  • 科技

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

类别:科技 发布时间:2024-07-18 14:57:00 来源:云间有月

?Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

快科技6月7日消息,Intel官方宣布,旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2(Qwen2)的全球发布提供支持,已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。

为了最大限度地提升诸通义千问2等大模型的效率,Intel进行了全面的软件优化,包括高性能融合算子、平衡精度和速度的先进量化技术等。

Intel还采用KV Caching、PagedAttention机制和张量并行,提高推理效率。

Intel的硬件也可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库、vLLM。

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

首先看Intel Gaudi AI加速器,专为生成式AI、大模型的高性能加速而设计,最新版的Gaudi Optimum可以轻松部署新号的大模型。

Intel使用Gaudi 2,对70亿参数、720亿参数的通义千问2模型的推理和微调吞吐量进行了基准测试,以下为详细性能指标和测试结果:

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

70亿参数通义千问2在单颗Gaudi 2加速器上的推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

720亿参数通义千问2在八颗Gaudi 2加速器上的推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

通义千问2 FP8在Gaudi 2加速器上的推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

通义千问2在Gaudi 2加速器上的微调

再看Intel至强处理器,作为通用平台具有广泛的可用性,适用于各个规模的数据中心,对于希望快速部署AI解决方案、没有专项基础设施企业非常理想。

至强处理器的每个核心都内置了Intel AMX高级矩阵扩展,可以处理多样化的AI工作负载,并加速AI推理。

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

以上是在五代可扩展至强上运行阿里云ecs.ebmg8i.48xlarge实例,通义千问2的下一个推理token延迟情况。

最后是消费级的AI PC,可以在本地部署大模型,既然可以使用处理器内置GPU核显、NPU AI引擎,也可以搭配独立的锐炫显卡。

以下展示了AI PC运行15亿参数的通义千问2:

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

酷睿Ultra 7 165H上的通义千问2推理

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

酷睿 Ultra 7 165H上的通义千问2下一个token延迟

Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏

锐炫A770 16GB显卡上的通义千问2下一个token延迟

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-18 17:45:11

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

阿里云开源通义千问 70 亿参数模型,免费、可商用
据36氪报道,今日阿里云开源通义千问70亿参数模型,包括通用模型Qwen-7B和对话模型Qwen-7B-Chat,两款模型均已上线魔搭社区,开源、免费、可商用。此举让阿里云成为国
2023-08-03 17:18:00
阿里云通义千问开源!70亿参数模型上线魔搭社区
...Scope上架两款开源模型Qwen-7B和Qwen-7B-Chat,阿里云确认其为通义千问70亿参数通用模型和对话模型
2023-08-03 17:00:00
阿里云发布通义千问2.5,性能赶超GPT-4 Turbo
通义大模型发布一周年之际,迎来重要的历史性时刻。5月9日,阿里云正式发布通义千问2.5,模型性能全面赶超GPT-4 Turbo
2024-05-09 12:00:00
从云栖大会,看阿里的科技本色
...巴巴宣布了自研大模型的最新进展——千亿级参数规模的通义千问 2.0 正式发布。阿里巴巴宣布,通义千问 2.0 在 10 个权威测评中全面超越 GPT-3
2023-11-01 23:02:00
本文转自:新华网12月1日,阿里云通义千问720亿参数模型Qwen-72B宣布开源。该模型基于3T tokens高质量数据训练
2023-12-01 13:33:00
阿里云通义千问大模型首批通过备案,正式向公众开放
9月13日消息,阿里云今日宣布通义千问大模型已首批通过备案,并正式向公众开放。IT之家小伙伴可登录通义千问官网(https://qianwen
2023-09-13 15:15:00
MediaTek携手阿里云在天玑移动平台完成通义千问大模型端侧部署
...与阿里云达成深度合作,双方在天玑9300移动平台上完成通义千问大模型小尺寸版本的端侧部署,该部署可适配天玑8300移动平台,可实现离线状态下即时且精准的多轮人机对话问答。未来
2024-03-28 15:35:00
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
时隔一个月,通义千问又放大招了!在一个月前的阿里云栖大会上,阿里正式发布通义千问2.0版本,在复杂指令理解、文学创作、通用数学、知识记忆、幻觉抵御等能力上,都有较大提升。并且,阿
2023-12-01 21:07:00
通义千问发布半年,大模型已不是阿里云唯一主角 | 焦点分析
...又无处不在。做AI时代的“电动机” 今年4月正式亮相的通义千问,是阿里云自研的底层通用大模型。半年过去,如今阿里云正式推出通义千问的2.0版本,参数已达千亿,在各项评测集中,
2023-11-03 14:33:00
更多关于科技的资讯:
增压好的热水器推荐:万和多款热水器待你选择
在城镇化加速与高层住宅普及的当下,老旧小区管道老化、高层建筑水压衰减等问题愈发突出,不少家庭正遭受 “细流澡”“忽冷忽热” 的沐浴困扰
2025-10-30 08:16:00
创新,是让世界重新认识中国制造
“创新”,这个词我们每天都在说。要让世界记住中国制造的创新,一定是要让人们能看得见、记得住、感受到。我给大家分享几个小故事
2025-10-30 08:35:00
河北日报讯(记者孙青)为激发青年创业活力,点燃青年创业梦想,日前,团石家庄市委正式启动“青年创业训练营——青年小店孵化计划”
2025-10-30 08:36:00
当故宫的红墙金瓦凝缩成书签的精致纹路,当敦煌的飞天壁画跃然咖啡杯的杯身,博物馆中的千年文明正通过文创产品打开新的传承通道
2025-10-30 08:44:00
校宝智慧校园发布招生智能化解决方案,为民办教育注入增长新动能
2025年10月29日,校宝智慧校园正式推出面向民办、国际化学校的招生智能化解决方案,包含流量获取、线索转化、组织建设与数据决策四大核心板块
2025-10-30 09:10:00
Soul App开源播客语音合成模型SoulX-Podcast,支持流畅自然多轮语音对话
近日,Soul App AI团队(Soul AI Lab)正式开源播客语音合成模型SoulX-Podcast。该模型是一款专为多人
2025-10-30 09:10:00
服务效能持续提升 中老年多元化保障需求凸显近日,中宏保险正式发布了《2025年第三季度中宏保险个险理赔服务报告》(以下简称"报告")
2025-10-30 09:10:00
AI+人工双核验:深瞳查重如何以精准核查守护科研诚信
在科研诚信日益重要的今天,图片查重已成为维护科研诚信的关键环节手段。作为国内首家推出图片查重服务的深瞳查重,深瞳查重始终将结果的准确性和可靠性放在首位
2025-10-30 09:10:00
德明利亮相安博会,推出面向智能安防的多维度存储解决方案
10月28日,深圳CPSE安博会在福田会展中心顺利开幕,展会聚焦AI与大数据的智能安防创新。德明利携工业级存储产品及多维矩阵方案亮相
2025-10-30 09:10:00
碧欧宝亮相2025德国品牌周,于外滩百年地标演绎德式健康美学
2025年10月23日,由德国工商总会主办的“Discover Germany 德国品牌周”在外滩百年地标老市府隆重启幕
2025-10-30 10:10:00
留学常用APP与交友软件推荐:学习、生活、社交一站式搞定
即将远赴海外求学,除了收拾行囊,在手机里提前装好实用的留学APP,也成了许多准留学生的必备功课。面对应用商店里海量的留学常用APP选择
2025-10-30 10:56:00
工商银行联合腾讯云发布《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》
随着生成式人工智能浪潮全面兴起,金融行业在加速迈向“AI原生”时代的同时,也面临多模态深度伪造内容带来的新型安全挑战。利用生成式AI合成的语音
2025-10-30 12:08:00
片仔癀黄芩多肽洗护新品亮相漳州,以东方智慧开启舒缓新“净”界
10月23日,东方新国妆代表品牌——片仔癀化妆品,在品牌发源地漳州隆重举办黄芩多肽系列新品发布会。活动以“亮剑·向新而生”为主题
2025-10-30 12:11:00
灵芝孢子油三大品牌 2025年权威推荐与选购指南
灵芝孢子油作为养生市场的明星产品,其品质差异直接影响消费者体验。本文基于实测数据与行业深度调研,为您梳理灵芝孢子油三大品牌
2025-10-30 12:11:00
随着现代人久坐、运动损伤、年龄增长等因素影响,关节健康问题日益突出。据《中国骨关节炎临床流行病学调查报告》显示,中国40岁以上人群骨关节炎患病率高达46
2025-10-30 12:13:00