• 我的订阅
  • 科技

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

类别:科技 发布时间:2024-11-05 21:09:00 来源:浅语科技

快科技11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。

摩尔线程表示,正努力围绕自主研发的统一系统架构GPU、MUSA软件平台,构建完善好用的MUSA应用生态。

vLLM是一个高效且易用的大模型推理和服务框架,支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等,可显著提高大语言模型(LLM)的推理性能。

目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。

同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-05 23:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

真正的国产显卡之光!摩尔线程国产GPU、AI与元宇宙多项进展深入解读
一、摩尔线程简史:光速创业 全线出击如今,我们已经有了较为成熟的自主CPU处理器、NAND闪存、DRAM内存、OS操作系统,而作为计算平台中非常关键的一环,GPU显卡,却一直存在
2023-06-05 03:00:00
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...产化集群更是迫在眉睫。值此关键节点,国内GPU头部创企摩尔线程推出的夸娥(KUAE)智算中心解决方案以全功能GPU为底座
2024-04-28 11:52:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也
2024-07-09 09:47:00
国产显卡第一家!支持DX11,摩尔线程站在了新起点
去年11月份,天极网做了首款国潮游戏显卡摩尔线程MTTS80的评测。就性能而言,MTTS80具备优势,甚至硬件规格也能与主流游戏显卡一争高下,只不过受限于驱动适配等因素,自身实力
2023-06-06 00:22:00
国产GPU为底座,摩尔线程首个千卡智算中心落地
12月19日,观察者网了解到,摩尔线程首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京举办,这宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地
2023-12-20 09:46:00
大型国有银行采购摩尔线程国产显卡!造型首次公开
国产GPU厂商摩尔线程官方宣布,近期联手紫光,斩获某大型国有银行全行台式电脑采购项目订单。本次中标的电脑机型为“紫光UNIS D3812 G2”
2023-02-02 07:00:00
国产GPU独角兽!摩尔线程已完成股改:正筹备上市
...快科技11月9日消息,据国家企业信用信息公示系统公示,摩尔线程智能科技(北京)股份有限公司(下称“摩尔线程”)的市场主体类型,在10月28日由其他有限责任公司变更为其他股份有
2024-11-09 13:44:00
国产GPU独角兽摩尔线程启动上市辅导,创始人张建中持股44.07%
摩尔线程。视觉中国 资料图11月13日,据证监会官网显示,国内全功能GPU独角兽企业摩尔线程智能科技(北京)股份有限公司(简称“摩尔线程”)在北京证监局办理辅导备案登记,正式启动
2024-11-13 08:10:00
摩尔线程再发独立显卡国产厂商能否给英伟达上上强度?
...多人没有注意到的是,在5月31日下午,中国独立显卡厂商摩尔线程召开2023夏季发布会,带来了一款全新的MTTS70独立显卡
2023-06-07 21:14:00
更多关于科技的资讯:
锁定10月北京 首个U宠生活方式展UPET内容大餐已就位
金秋十月,不可错过的宠物行业新概念展——Upet有宠生活展 北京首个城区宠展充满创新基因的Upet有宠生活展,将于10月24-26日
2025-09-09 11:38:00
智能制造重塑生产模式——辛集省级先进智能工厂一线观察
近日,河北省工业和信息化厅公布2025年第一批先进级智能工厂名单,辛集市澳森特钢集团有限公司、河北申科电子股份有限公司
2025-09-09 11:38:00
中国AI云市场报告:阿里云占比35.8%,高于2到4名的总和
9月9日,国际权威市场调研机构英富曼(Omdia)发布《中国AI云市场,1H25》报告,报告显示,2025年上半年,中国AI云市场规模达223亿元
2025-09-09 11:45:00
京东户外出游季正式开启 携手迪卡侬、牧高笛等带来大牌爆品不止5折
金秋时节天朗气清,正是奔赴户外探索自然的好时机。9月8日起,京东户外装备出游季正式开启,携手迪卡侬、喜德盛、牧高笛、挪客
2025-09-09 11:49:00
【宅男财经|专家面对面】9月8日,媒体获悉,小米公司发布内部公告称,中国区市场部员工王腾,泄露公司机密信息,且存在利益冲突等严重违规违纪行为
2025-09-09 12:13:00
8月12日,位于宁晋县的河北童泰电子商务有限公司内,各式各样的儿童服装整齐摆放,款式新颖,直播间的工作人员正对着镜头推介婴幼儿连体衣和包臀衣
2025-09-09 12:23:00
鲁网9月9日讯水流悄无声息地通过测量管道,水表内的换能器就能精准地发射、接收超声波信号,并对接收到的数据进行智能处理和分析
2025-09-09 13:18:00
一台绘蜡机 绘出蜡染新风采
9月5日,走进位于凯里市民族文化创意产业园的初色东方(贵州)品牌运营管理有限公司,凯里市蜡染传承人靳秀丽正在操作绘蜡设备
2025-09-09 13:24:00
2025亚太机器人世界杯青岛国际邀请赛在青举行
齐鲁晚报·齐鲁壹点 徐润杰 杨雪 通讯员 杨治峰9月6日至9日,作为2025海洋合作发展论坛的同期活动,2025亚太机器人世界杯青岛国际邀请赛在青岛西海岸新区举行
2025-09-09 09:37:00
电网运行风险防御技术与装备全国重点实验室:他们在!大停电多年未遇,“网”自岿然不动编者按科技改变世界,而位于各大高校院所
2025-09-09 07:43:00
由十几人紧盯变一两人巡检,5G+智能产线“显神通”一根头发丝的1/7!滑块南京造,精度航天级□南京日报/紫金山新闻记者黄琳燕走进南京工艺装备制造股份有限公司(以下简称“南京工艺”)的“5G+智能滑块生产线”车间
2025-09-09 07:43:00
尚诗颖 南昌市新建区象山初级中学摘要:人工智能为中学生外语教育领域引入了新的变革与视角,着重关注学生个性化学习需求及自主学习能力的培养
2025-09-09 06:59:00
共创优质产品体验,从“MagicOS创享家”看荣耀的“听劝”哲学
摘要:以“听劝”的姿态持续进化,才是产品迭代的核心价值坐标。8月底,成都宽窄巷子又一次“出圈”了。年轻人能听Live现场
2025-09-08 08:19:00
网易云音乐教师节特别活动正式上线 百万黑胶VIP免费领
9月5日,网易云音乐教师节特别活动正式启动。本次活动为教师与学生群体都准备了丰厚福利,教师可免费领取100万份专属福利大礼包
2025-09-08 08:20:00
人工智能成“显眼包” 一批高科技产品亮相投洽会
MUGIN EV350全电动碳纤维垂直起降无人机平台,轻量化碳纤维机身设计,兼顾高强度与低能耗,适用于城市巡检、应急通信等场景
2025-09-08 09:01:00