• 我的订阅
  • 科技

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

类别:科技 发布时间:2024-11-05 21:09:00 来源:浅语科技

快科技11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。

摩尔线程表示,正努力围绕自主研发的统一系统架构GPU、MUSA软件平台,构建完善好用的MUSA应用生态。

vLLM是一个高效且易用的大模型推理和服务框架,支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等,可显著提高大语言模型(LLM)的推理性能。

目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。

同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-05 23:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

真正的国产显卡之光!摩尔线程国产GPU、AI与元宇宙多项进展深入解读
一、摩尔线程简史:光速创业 全线出击如今,我们已经有了较为成熟的自主CPU处理器、NAND闪存、DRAM内存、OS操作系统,而作为计算平台中非常关键的一环,GPU显卡,却一直存在
2023-06-05 03:00:00
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...产化集群更是迫在眉睫。值此关键节点,国内GPU头部创企摩尔线程推出的夸娥(KUAE)智算中心解决方案以全功能GPU为底座
2024-04-28 11:52:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也
2024-07-09 09:47:00
国产显卡第一家!支持DX11,摩尔线程站在了新起点
去年11月份,天极网做了首款国潮游戏显卡摩尔线程MTTS80的评测。就性能而言,MTTS80具备优势,甚至硬件规格也能与主流游戏显卡一争高下,只不过受限于驱动适配等因素,自身实力
2023-06-06 00:22:00
国产GPU为底座,摩尔线程首个千卡智算中心落地
12月19日,观察者网了解到,摩尔线程首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京举办,这宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地
2023-12-20 09:46:00
大型国有银行采购摩尔线程国产显卡!造型首次公开
国产GPU厂商摩尔线程官方宣布,近期联手紫光,斩获某大型国有银行全行台式电脑采购项目订单。本次中标的电脑机型为“紫光UNIS D3812 G2”
2023-02-02 07:00:00
国产GPU独角兽!摩尔线程已完成股改:正筹备上市
...快科技11月9日消息,据国家企业信用信息公示系统公示,摩尔线程智能科技(北京)股份有限公司(下称“摩尔线程”)的市场主体类型,在10月28日由其他有限责任公司变更为其他股份有
2024-11-09 13:44:00
国产GPU独角兽摩尔线程启动上市辅导,创始人张建中持股44.07%
摩尔线程。视觉中国 资料图11月13日,据证监会官网显示,国内全功能GPU独角兽企业摩尔线程智能科技(北京)股份有限公司(简称“摩尔线程”)在北京证监局办理辅导备案登记,正式启动
2024-11-13 08:10:00
摩尔线程再发独立显卡国产厂商能否给英伟达上上强度?
...多人没有注意到的是,在5月31日下午,中国独立显卡厂商摩尔线程召开2023夏季发布会,带来了一款全新的MTTS70独立显卡
2023-06-07 21:14:00
更多关于科技的资讯:
专注“冷阴极”X射线源技术研发,「新鸿电子」获数亿元战略融资|36氪首发
36氪获悉,从事X射线技术研发及成像应用的新鸿电子近期完成数亿元战略融资。本轮融资由中核基金领投,中国视谷基金、荷塘创投
2025-09-08 08:12:00
京东举办钛厨具行业峰会 未来三年投入超50亿采购资金加速品类升级
如今,追求健康生活已成为中国消费者的普遍共识,这一需求推动着厨具的升级迭代。9月8日,“中国厨房 自有‘钛’度”2025京东钛厨具行业峰会在京举办
2025-09-08 19:58:00
王座赛事杭州站圆满落幕 台球产业生态链迎来升级热潮
9月6日,为期四天的王座赛事第一站在杭州希尔顿酒店圆满落幕,这项集竞技、产品、文化于一体的台球盛宴,不仅为观众呈现了精彩赛事
2025-09-08 13:37:00
强生眼力健与光正眼科举行合作集团揭牌仪式,共创“价值医疗”新范式
重塑白内障患者诊疗流程,推动精准屈光诊疗方案惠及患者【2025年9月5日,杭州】在中华医学会第二十九次眼科学术大会(CCOS2025)这一行业盛会上
2025-09-08 13:39:00
强生眼力健携手何氏眼科,共筑中国眼健康创新生态
以“医教研”一体化,加速全球前沿技术转化【2025年9月6日,杭州】为加速共筑中国眼健康创新生态,强生旗下的眼健康业务强生眼力健
2025-09-08 13:39:00
以“数字中台+智贸生态”赋能广州万亿级市场 数字化转型升级
2025年广州(秋季)白云里国际美妆节白云电商高峰论坛于9月5日在白云里国际美妆中心成功召开。本次论坛汇聚了广州市白云区电子商务行业协会会长朱东炫
2025-09-08 13:39:00
印象草原:一场关于“自我设计”的时尚革命蓄势登场
当服装跳出市场同质化“单品”的定义,成为承载个性的专属“战袍”,一场关于“自我设计”的时尚革命正蓄势登场。2025年9月9日
2025-09-08 13:39:00
强生眼力健与香港希玛眼科携手共建创新技术合作集团,引领屈光白内障及老视诊疗新篇章
【2025年9月6日,杭州】 近日,在中华医学会第二十九次眼科学术大会(CCOS2025)期间,强生眼力健与香港希玛医疗集团(以下简称“希玛医疗”
2025-09-08 13:40:00
强生眼力健携手爱尔眼科,共筑精准屈光诊疗全国标准化体系
以技术驱动,定义高品质眼科服务规模化落地新范本【2025年9月5日,杭州】在中华医学会第二十九次眼科学术大会(CCOS2025)期间
2025-09-08 13:41:00
首个电商蟹卡兑换系统上线:五年投入两千万元研发 无法履约最高赔10万元
蟹卡标注着长期有效,兑换时商家却玩起了失联。每逢中秋节前,不少消费者因蟹卡无法兑换而踩雷。今年大闸蟹消费季,京东超市宣布为消费者提供百分百可兑换服务
2025-09-08 13:48:00
小米回应车主提车发现是测试车:静电贴痕迹,湿毛巾就能擦掉
近日,有小米YU7车主反映,提车后发现前挡风或后挡风玻璃上存在“测试车”静电贴残留痕迹。9月7日,小米集团公关部总经理王化在微博回应称
2025-09-08 11:54:00
贵州大数据集团中标国内首个“云胶片”项目
在贵州,一朵惠及全民的“医疗云”正腾空而起。9月4日,国内首个数字化医用耗材“云胶片”省级带量采购项目中标结果正式出炉
2025-09-08 11:53:00
□南京日报/紫金山新闻记者王国俊通讯员宁穗独角兽企业的成长既需要企业自身的科技实力,也离不开良好的发展环境。近日,记者从南京市税务局获悉
2025-09-08 07:42:00
产业发展“最佳助攻”,如此赋能!
9月2日,位于苏美达伊顿纪德仓储分拨中心厂区,申通快递员工直接将打包好的校服扫码揽收、装箱、发出,迅速、高效地将包裹送至客户手中
2025-09-08 07:42:00
□南京日报/紫金山新闻记者徐宁在南京,软件产业创新活力奔涌。南京市千行万业鸿蒙原生应用正式开启,南京开鸿城市产业园在建邺区启动建设
2025-09-08 07:43:00