• 我的订阅
  • 科技

阿里云全面升级GPU云服务:AI大模型推理性能可提升100%

类别:科技 发布时间:2024-07-19 17:21:00 来源:浅语科技

快科技7月19日消息,阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。

针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。

随着AI大模型的体量变大、应用变广,单GPU已难以承载推理应用的全部需求,多GPU推理时代已经到来,如何在GPU资源紧缺的当下,实现GPU高效互联,是提升多GPU推理性能的关键。

阿里云通过进一步优化底层的AI通信加速库DeepNCCL,让GPU云服务在推理场景下有更好的性能表现:在同等硬件环境下,Token输出吞吐至少提升14%,首Token时延降低15%。

通过深度优化,推理加速性能也提升显著,Token处理能力提升100%,相同的资源可以支持2倍的业务需求,用Kubernetes容器集群技术调用GPU算力,已成为运行AI大模型任务的主流选择。

ACK容器服务可提供自动化编排及GPU高效管理和调度的能力,让模型部署、扩展变得更简单。

为进一步提升AI应用运维效率,阿里云推出ACK云原生AI套件,可实现Kubernetes在GPU调度和细粒度共享、AI任务调度、训练数据加载以及大模型推理服务启动等关键领域的能力增强和加速,相较开源均有大幅能力提升。

比如,针对AI任务频繁加载远程存储数据的需求,ACK云原生AI套件可提升训练数据读取性能30%以上,降低大模型推理服务冷启动时延70%以上。

在全球累计超过1000万活跃用户的国产AI绘画工具海艺AI,就是通过ACK调用阿里云GPU云服务的先行者。

此前,用户通过海艺AI生成一张图片平均耗时20秒,遇到队列等待延迟可上升至分钟级;采用阿里云GPU云算力及ACK容器服务后,海艺AI的模型切换完全无感,推理耗时降低至3.95秒,整体性能提升至少50%以上。

在最新的Forrester 全球AI基础设施解决方案研究报告中,阿里云综合产品能力指标位居全球第二,已成为中国AI大模型的公共底座。

零一万物、百川智能、智谱AI、昆仑万维、vivo、复旦大学、巨人网络等大批企业和机构在阿里云上训练大模型,并通过阿里云对外提供服务。

小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型,在阿里云上为消费者和客户提供丰富的AI应用服务。

阿里云全面升级GPU云服务:AI大模型推理性能可提升100%

【本文结束】如需转载请务必注明出处:快科技

责任编辑:振亭

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-19 21:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

阿里云CTO周靖人:全面投入升级AI大基建
快科技9月19日消息,在2024杭州云栖大会上,阿里云CTO周靖人表示,阿里云正在围绕AI时代,树立一个AI基础设施的新标准,全面升级从服务器到计算、存储、网络、数据处理、模型训
2024-09-19 15:53:00
阿里AI三连发,连夺三项第一
7月25日,阿里巴巴全新开源千问3推理模型,性能大幅提升,一举夺下「全球最强开源模型」王座,比肩顶级闭源模型Gemini-2
2025-07-25 21:34:00
一代更比一代强,AI 时代的至强如何为云服务保驾护航?
...(英特尔® SGX)技术提供了应用层面的隔离能力;而在和阿里云的合作中,则由英特尔® TDX 技术与阿里云新实例搭载的可信平台模块(TPM)相配合
2023-12-26 10:08:00
昨天凌晨,阿里巴巴又默默干了件大事:发布并开源全新的推理模型通义千问QwQ-32B。千问QwQ-32B是阿里探索推理模型的最新成果
2025-03-07 07:27:00
阿里最新开源推理模型发布:性能比肩DeepSeek-R1
阿里通义发布最新开源推理模型,称其性能比肩DeepSeek-R1。3月6日凌晨,阿里巴巴正式发布最新的开源推理模型通义千问QwQ-32B
2025-03-06 13:22:00
吴泳铭官宣3800亿投入后,阿里云如何打AI这场硬仗?
...坚信,2025年一定是中国AI应用爆发的元年。”在4月9日的阿里云AI势能大会上,阿里云智能集团资深副总裁、公共云事业部总裁刘伟光表示。他说这话是有底气的——过去一年,阿里云
2025-04-10 17:12:00
阿里云通义千问主力模型价格直降97%,大模型商业化拐点已至
5月21日,阿里云抛出重磅炸弹:通义千问GPT-4级主力模型Qwen-Long,API输入价格从0.02元/千tokens降至0
2024-05-22 16:18:00
...的高度关注。该模型名为s1。随后,该模型被曝出是基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费人工智能模型。为了训练s1,研究人员创建了一个仅包含100
2025-02-26 09:09:00
Kimi爆火背后:访问量仅次于文心一言和阿里通义,国内外大模型都在卷上下文
...超10亿美金融资,投资方包括红杉中国、小红书、美团、阿里等,这是国内大模型公司获得的单轮最大金额融资,最新估值达25亿美元。 月之暗面创始人杨植麟是一位本科毕业于清华、博士
2024-03-23 14:00:00
更多关于科技的资讯:
鹭江观察 | 人工智能+ 厦门加出了什么?
客商体验厦门绽优科技的AI+VR产品。厦门美图大楼展厅演示AI产品。(本组图/厦门日报记者 林铭鸿 摄)●2024年,厦门位列中国人工智能城市排行榜前10●截至去年底
2025-09-16 08:18:00
德资企业威卡荣获2025“大苏州雇主品牌一等奖”及“最具发展潜力奖”
9月12日,2025 "大苏州雇主品牌大赛" 颁奖盛典在苏州广电总台落幕。德资企业威卡中国凭借卓越的雇主形象、优秀的企业文化和突出的商业表现
2025-09-16 08:34:00
记者走基层|“邯郸造”掘进钻车 北极圈矿场上岗
9月15日,河北宏远液压机械有限公司装配车间内,技术人员对智能掘进钻车进行出厂前调试。河北日报记者 陈正摄“臂展伸缩正常
2025-09-16 08:52:00
近期,预制菜话题备受消费者关注。各方讨论背后,是消费者对于知情权的关切以及对提高餐饮质量的诉求。这场讨论也促使餐饮从业者思考
2025-09-16 09:02:00
穿警服直播带货引争议,“嘎子哥”道歉,云南警方已介入
近日,辽宁的李先生向记者反映称,他在观看“嘎子谢孟伟”的直播时发现,其身着人民警察制式服装带货,于是向事发地所属的云南警方报了警
2025-09-16 10:08:00
从便捷化到多功能 户外的“家”正重塑露营体验
本报记者 赵 曦 □ 黄芷凌近日,国务院办公厅印发的《关于释放体育消费潜力进一步推进体育产业高质量发展的意见》提出,制定新一轮户外运动产业发展规划
2025-09-16 11:11:00
最近一段时间,关于钢琴销量的话题又引起了一波热度。行业龙头珠江钢琴发布的2025年一季报显示,其营收为1.24亿元,同比下降42
2025-09-16 11:11:00
中国企业牵头养老具身智能、智慧养殖首个国际标准制定
近日,IEEE SA(电气电子工程师学会标准协会)官网显示,由马上消费牵头主导的IEEE国际标准P3707《养老领域具身人工智能应用框架标准》和P3708《智慧家禽平台应用规范标准》正式获批立项
2025-09-16 11:11:00
苹果今日正式推出iOS 26正式版
苹果官网显示,iOS 26 正式版于9月16日推出。值得一提的是,仅 iPhone 11 及以上机型才支持升级 iOS 26 系统
2025-09-16 11:20:00
山东移动以AI赋能连锁商企 打造智慧客流分析系统
客流管理是零售竞争的核心,直接决定门店效益与企业精准营销水平。随着消费方式转型,智能化、数据化已成为高质量发展的必然趋势
2025-09-16 11:20:00
“三只羊”嘴哥复播在线人数超10万,客服回应大小杨哥复播进展:暂未接到通知
9月15日晚,“三只羊”旗下乔妹、老K、嘴哥等多名主播复播。其中,嘴哥直播间人气火爆,在线人数超10万。此外,三只羊客服对记者回应大小杨哥复播进展
2025-09-16 11:22:00
1688推出“超级工厂全球版” 建立跨境服务能力量化标准
9月16日,阿里巴巴旗下源头厂货拿货平台1688在广州举办“AI跨境·国货出海”平台对接会,并发布全新商家会员产品“超级工厂全球版”
2025-09-17 04:37:00
查博士深化校企合作 携手南京交通职业技术学院共筑二手车人才“蓄水池”
9月8日,由查博士与南京交通职业技术学院联合举办的“二手车校企合作订单班”开班仪式顺利举行。此次合作是双方深化产教融合
2025-09-16 13:09:00
安顺绿色算力通过直连网络链路持续输出 “光速高铁”高效畅达大湾区
深夜,安顺经开区南智云谷数据中心内,一排排服务器静默矗立,蓝色指示灯如呼吸般不间断闪烁。工程师邓尚勋紧盯监控大屏——“安顺—广州”直连网络链路单向时延18
2025-09-16 13:10:00
网安周开幕|绿盟大模型能力再获权威肯定,持续推动AI与网络安全深度融合
9月15日,2025年国家网络安全宣传周的开幕式及一系列重要活动在云南昆明举办。其中,开幕式现场,12387网络安全事件报告平台正式启动
2025-09-16 13:11:00