• 我的订阅
  • 科技

摩尔线程万卡GPU集群新进展!性能可提升20倍

类别:科技 发布时间:2024-07-18 22:51:00 来源:浅语科技

快科技7月18日消息,摩尔线程官方宣布,与清华系AI系统软件公司清程极智正式建立战略合作关系,旨在加速国产大规模GPU智算集群的产业化进程,推动AI算力生态的快速发展,为大模型行业提供更强大、灵活且高效的基础设施支持。

摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案,双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。

清程极智是一家致力于构建高效人工智能系统软件,赋能国产算力,支撑大模型行业发展的公司,自主研发了智能编译器IntelliGen、高效并行训练系统FastMoE,能够显著加速Transformer类模型和混合专家MoE模型的处理速度,部分模型性能提升最高可达15-20倍。

目前,清程极智的核心产品已全面适配摩尔线程自研的MUSA平台。

摩尔线程万卡GPU集群新进展!性能可提升20倍

摩尔线程万卡GPU集群新进展!性能可提升20倍

摩尔线程还宣布,已与北京智源人工智能研究院顺利完成基于Triton语言的高性能算子库FlagGems的适配工作。

利用摩尔线程自研的统一系统计算架构MUSA,双方只用了短短一个多星期,就成功完成了近60个算子的功能验证,精度符合交付标准,并实现了对Bert-large模型的全面支持。

摩尔线程研发团队经过充分调研论证,还形成了Triton编译器在MUSA架构上适配的完整方案,力求实现开发者在基于摩尔线程全功能GPU进行Triton开发算子过程中,也能获得与原来一致的体验,做到CUDA框架、MUSA框架的无缝迁移。

在摩尔线程MUSA架构上,FlagGems算子库展现出了接近手写算子的计算性能,而且性能还在持续调优,极大加速了开源大模型在摩尔线程全功能GPU上的部署速度。

智源研究院是北京市于2018年11月推动成立的新型研发机构,核心目标是聚焦AI原始创新和核心技术,推动AI理论、方法、工具、系统和应用取得变革性、颠覆性突破,支撑北京建设成为全球AI学术思想、基础理论、顶尖人才、企业创新和发展政策的源头。

智源研究院的FlagGems算子库是一个使用Triton编程语言实现的高性能通用算子库,旨在为大语言模型提供一系列可应用于PyTorch框架的算子,加速模型的推理与训练,降低新算法的开发门槛。

它以Triton编程语言的易用性和编译器的标准接口为基础,为多元芯片提供了一套易适配、高性能的算子解决方案,推动基于Triton的统一、开源的软硬件生态建设。

摩尔线程万卡GPU集群新进展!性能可提升20倍

【本文结束】如需转载请务必注明出处:快科技

责任编辑:上方文Q

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-19 05:45:12

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也
2024-07-09 09:47:00
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...产化集群更是迫在眉睫。值此关键节点,国内GPU头部创企摩尔线程推出的夸娥(KUAE)智算中心解决方案以全功能GPU为底座
2024-04-28 11:52:00
摩尔线程万卡GPU与三大银行重磅合作!金融支持新型工业化
...科技10月21日消息,在近日举办的2024金融街论坛年会上,摩尔线程作为北京市人工智能与集成电路设计等关键领域的重点科创企业,参与了成果发布单元“金融支持新型工业化重大项目签
2024-10-21 12:23:00
摩尔线程与360达成战略合作,将共同打造“360智脑大模型一体机”
IT之家 8 月 2 日消息,据摩尔线程公众号今天的推文,在第十二届互联网安全大会期间,摩尔线程与 360 集团宣布达成战略合作伙伴关系,并现场签署了战略合作协议。双方此次合作旨
2024-08-02 13:46:00
国产GPU独角兽摩尔线程启动上市辅导,创始人张建中持股44.07%
摩尔线程。视觉中国 资料图11月13日,据证监会官网显示,国内全功能GPU独角兽企业摩尔线程智能科技(北京)股份有限公司(简称“摩尔线程”)在北京证监局办理辅导备案登记,正式启动
2024-11-13 08:10:00
又一AI芯片独角兽,启动上市
11月13日,证监会官网显示,国产GPU独角兽企业摩尔线程智能科技(北京)股份有限公司(下称“摩尔线程”)在北京证监局办理辅导备案登记,正式启动A股上市进程,辅导机构为中信证券股
2024-11-15 09:53:00
马斯克宣布训练“世界上最强大的人工智能” !万卡集群背后的算力竞赛迅猛升级
...信效率比上一代提升60%,大模型训练效率提升20%。近期,摩尔线程宣布,AI旗舰产品夸娥(KUAE)智算集群解决方案重大升级,从当前的千卡级别扩展至万卡规模,从而具备万P级或
2024-07-24 14:02:00
摩尔线程发布智算加速卡MTT S4000
12月19日消息,今天,摩尔线程发布了全新智算加速卡MTTS4000,训推兼顾专为大模型打造,单卡支持48GB显存。据介绍
2023-12-19 22:05:00
连续无故障训练15天!摩尔线程发布夸娥智算集群KUAE 1.2
快科技8月19日消息,摩尔线程正式发布了夸娥智算集群KUAE 1.2版本,通过软硬件层面的综合性优化,在功能、性能上多维升级,更高效、稳定,对生态系统更友好,可为大模型训练提供更
2024-08-19 20:22:00
更多关于科技的资讯: