• 我的订阅
  • 科技

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

类别:科技 发布时间:2024-11-05 21:09:00 来源:浅语科技

快科技11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。

摩尔线程表示,正努力围绕自主研发的统一系统架构GPU、MUSA软件平台,构建完善好用的MUSA应用生态。

vLLM是一个高效且易用的大模型推理和服务框架,支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等,可显著提高大语言模型(LLM)的推理性能。

目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。

同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-05 23:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

真正的国产显卡之光!摩尔线程国产GPU、AI与元宇宙多项进展深入解读
一、摩尔线程简史:光速创业 全线出击如今,我们已经有了较为成熟的自主CPU处理器、NAND闪存、DRAM内存、OS操作系统,而作为计算平台中非常关键的一环,GPU显卡,却一直存在
2023-06-05 03:00:00
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...产化集群更是迫在眉睫。值此关键节点,国内GPU头部创企摩尔线程推出的夸娥(KUAE)智算中心解决方案以全功能GPU为底座
2024-04-28 11:52:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也
2024-07-09 09:47:00
国产显卡第一家!支持DX11,摩尔线程站在了新起点
去年11月份,天极网做了首款国潮游戏显卡摩尔线程MTTS80的评测。就性能而言,MTTS80具备优势,甚至硬件规格也能与主流游戏显卡一争高下,只不过受限于驱动适配等因素,自身实力
2023-06-06 00:22:00
国产GPU为底座,摩尔线程首个千卡智算中心落地
12月19日,观察者网了解到,摩尔线程首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京举办,这宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地
2023-12-20 09:46:00
大型国有银行采购摩尔线程国产显卡!造型首次公开
国产GPU厂商摩尔线程官方宣布,近期联手紫光,斩获某大型国有银行全行台式电脑采购项目订单。本次中标的电脑机型为“紫光UNIS D3812 G2”
2023-02-02 07:00:00
国产GPU独角兽!摩尔线程已完成股改:正筹备上市
...快科技11月9日消息,据国家企业信用信息公示系统公示,摩尔线程智能科技(北京)股份有限公司(下称“摩尔线程”)的市场主体类型,在10月28日由其他有限责任公司变更为其他股份有
2024-11-09 13:44:00
国产GPU独角兽摩尔线程启动上市辅导,创始人张建中持股44.07%
摩尔线程。视觉中国 资料图11月13日,据证监会官网显示,国内全功能GPU独角兽企业摩尔线程智能科技(北京)股份有限公司(简称“摩尔线程”)在北京证监局办理辅导备案登记,正式启动
2024-11-13 08:10:00
摩尔线程再发独立显卡国产厂商能否给英伟达上上强度?
...多人没有注意到的是,在5月31日下午,中国独立显卡厂商摩尔线程召开2023夏季发布会,带来了一款全新的MTTS70独立显卡
2023-06-07 21:14:00
更多关于科技的资讯:
京东11.11直播技术全面升级,立影3D技术、JoyAI大模型重构沉浸式购物体验
随着京东 11.11 大促的火热进行,京东直播再度升级技术布局,以 “立影 3D 技术”“JoyAI大模型”等创新技术
2025-10-27 15:39:00
电机能效提升领域再添标杆!25 项产品 / 技术入选全国节能降碳示范名单
为深入贯彻国家 “双碳” 战略,加快电机领域节能降碳技术创新与成果转化,中国电子节能技术协会此前启动 “全国节能降碳示范产品 / 技术推荐” 征集工作
2025-10-27 15:42:00
吉刻现场|硬核登场!吉林选手角逐第三届全国博士后创新创业大赛
10月26日,第三届全国博士后创新创业大赛在福建泉州(晋江)开幕。本届大赛,吉林省派出23个项目团队组成的参赛队伍角逐三个大赛道
2025-10-27 14:09:00
厦心医院实现手术\
厦门网讯(厦门日报记者 楚燕 通讯员 许良友 付磊 刘云芳)10月23日,一项载入医学史册的创新手术在厦门大学附属心血管病医院(以下简称“厦心医院”)圆满完成
2025-10-27 08:11:00
新闻纵深·解码钢铁大模型|邯钢构建六大领域全链条智能大模型:“聪明大脑”带来极致能效
邯钢构建六大领域全链条智能大模型“聪明大脑”带来极致能效编者按当钢铁遇上人工智能,一场“智变”正悄然发生。为生动展现人工智能为钢铁产业生产
2025-10-27 08:12:00
第十一届NJSD软件开发者会议在软件谷举行江苏规模最大,1400名软件工程师在宁“聚会”南报网讯(记者于洁尘通讯员林园园)70多位业界“大咖”登台演讲
2025-10-27 08:20:00
南报网讯(通讯员郑瑞于品华杨刚记者徐宁)近日,南化公司自主研发的橡胶防老剂中间产品RT培司(4-氨基二苯胺)除盐技术取得突破
2025-10-27 08:21:00
南报网讯(通讯员杨淏涵记者张希)日前,南京林业大学与乐惠国际南京基地签署《校企全面合作协议》《产业研究院共建协议》,全面开启校企战略合作
2025-10-27 08:22:00
高效,是都市青年的通行证:InstaShake以“一杯营养”重塑健康生活方式 —— 新锐品牌以“零添加、无预制、纯手工”的坚守,为上海都市人群注入鲜活能量
在生活节奏不断加速的上海,追求健康与追求效率似乎成为一道单选题。然而,新锐健康饮品品牌InstaShake正以其独特的“零添加
2025-10-27 08:39:00
济宁银行锚定金融“五篇大文章” 多维发力赋能区域经济高质量发展
鲁网10月27日讯近年来,济宁银行围绕做好金融“五篇大文章”,深入洞察科技企业、中小微企业以及重点产业链金融需求,以产品创新破解融资难题
2025-10-27 11:07:00
汪昌莲据《经济日报》报道,“两三元就能买品牌饼干薯片”“上百种散装零食任意挑选”……从县城到乡镇,在街角与量贩零食店不期而遇已成逛街“标配”
2025-10-27 11:10:00
受冷空气影响,气温先降后升,27日早晨气温较低。26日夜间到27日白天晴间多云,北风转南风2~3级,最低气温市区4℃左右
2025-10-27 11:28:00
2025青岛虚拟现实创新大会将启,雷神科技聚焦信创生态构建
鲁网10月27日讯虚实无界,智享未来。2025青岛虚拟现实创新大会即将在崂山区拉开帷幕。2017年以来,由崂山区成功承办的虚拟现实创新大会
2025-10-27 11:48:00
长白时评评论员 唐小兰近日,北京一市民反映有陌生男子在她家中无人时,通过指纹解锁智能门锁多次进入她家。当事人焦女士告诉新京报记者
2025-10-27 13:38:00
“生物制药工艺与设备发展新趋势研讨会”于10月16日下午举行,麦济生物、艾捷博雅科技、碧博生物等企业的代表,就生物制药工艺优化与设备选型提供了新思路与新方法。责编:卢思宇、姚凯红
2025-10-27 10:19:00