- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
摩尔线程kuae千卡集群正式落地
12月19日消息，摩尔线程今日宣布，首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京成功举办，宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地，大模型智算加速卡MTTS4000也同步发布。
附MTTS4000参数如下：
摩尔线程大模型智算加速卡MTTS4000，采用第三代MUSA内核，单卡支持48GB显存和768GB/s的显存带宽。基于摩尔线程自研MTLink1.0技术，MTTS4000可以支持多卡互联，助力千亿大模型的分布式计算加速。同时，MTTS4000提供先进的图形渲染能力、视频编解码能力和超高清8KHDR显示能力，助力AI计算、图形渲染、多媒体等综合应用场景的落地。尤为重要的是，借助摩尔线程自研MUSIFY开发工具，MTTS4000计算卡可以充分利用现有CUDA软件生态，实现CUDA代码零成本迁移到MUSA平台。
官方表示，摩尔线程KUAE智算中心解决方案以全功能GPU为底座，是软硬一体化的全栈解决方案，包括以KUAE计算集群为核心的基础设施、KUAEPlatform集群管理平台以及KUAEModelStudio模型服务，旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案可实现开箱即用，大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本，实现快速投放市场开展商业化运营。
摩尔线程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在内的业界主流分布式框架，并融合了多种并行算法策略，包括数据并行、张量并行、流水线并行和ZeRO，且针对高效通信计算并行和FlashAttention做了额外优化。目前，摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程KUAE千卡集群，70B到130B参数的大模型训练，线性加速比均可达到91%，算力利用率基本保持不变。以2000亿训练数据量为例，智源研究院700亿参数Aquila2可在33天完成训练；1300亿参数规模的模型可在56天完成训练。此外，摩尔线程KUAE千卡集群支持长时间连续稳定运行，支持断点续训，异步Checkpoint少于2分钟。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-12-20 09:45:21
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
