• 我的订阅
  • 科技

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

类别:科技 发布时间:2024-11-05 21:09:00 来源:浅语科技

快科技11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。

摩尔线程表示,正努力围绕自主研发的统一系统架构GPU、MUSA软件平台,构建完善好用的MUSA应用生态。

vLLM是一个高效且易用的大模型推理和服务框架,支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等,可显著提高大语言模型(LLM)的推理性能。

目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。

同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-05 23:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

真正的国产显卡之光!摩尔线程国产GPU、AI与元宇宙多项进展深入解读
一、摩尔线程简史:光速创业 全线出击如今,我们已经有了较为成熟的自主CPU处理器、NAND闪存、DRAM内存、OS操作系统,而作为计算平台中非常关键的一环,GPU显卡,却一直存在
2023-06-05 03:00:00
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...产化集群更是迫在眉睫。值此关键节点,国内GPU头部创企摩尔线程推出的夸娥(KUAE)智算中心解决方案以全功能GPU为底座
2024-04-28 11:52:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也
2024-07-09 09:47:00
国产显卡第一家!支持DX11,摩尔线程站在了新起点
去年11月份,天极网做了首款国潮游戏显卡摩尔线程MTTS80的评测。就性能而言,MTTS80具备优势,甚至硬件规格也能与主流游戏显卡一争高下,只不过受限于驱动适配等因素,自身实力
2023-06-06 00:22:00
国产GPU为底座,摩尔线程首个千卡智算中心落地
12月19日,观察者网了解到,摩尔线程首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京举办,这宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地
2023-12-20 09:46:00
大型国有银行采购摩尔线程国产显卡!造型首次公开
国产GPU厂商摩尔线程官方宣布,近期联手紫光,斩获某大型国有银行全行台式电脑采购项目订单。本次中标的电脑机型为“紫光UNIS D3812 G2”
2023-02-02 07:00:00
国产GPU独角兽!摩尔线程已完成股改:正筹备上市
...快科技11月9日消息,据国家企业信用信息公示系统公示,摩尔线程智能科技(北京)股份有限公司(下称“摩尔线程”)的市场主体类型,在10月28日由其他有限责任公司变更为其他股份有
2024-11-09 13:44:00
国产GPU独角兽摩尔线程启动上市辅导,创始人张建中持股44.07%
摩尔线程。视觉中国 资料图11月13日,据证监会官网显示,国内全功能GPU独角兽企业摩尔线程智能科技(北京)股份有限公司(简称“摩尔线程”)在北京证监局办理辅导备案登记,正式启动
2024-11-13 08:10:00
摩尔线程再发独立显卡国产厂商能否给英伟达上上强度?
...多人没有注意到的是,在5月31日下午,中国独立显卡厂商摩尔线程召开2023夏季发布会,带来了一款全新的MTTS70独立显卡
2023-06-07 21:14:00
更多关于科技的资讯: