• 我的订阅
  • 科技

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

类别:科技 发布时间:2023-09-21 06:47:00 来源:浅语科技

9月20日消息,在今日举行的华为全联接大会2023期间,华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛正式发布全新架构的昇腾AI计算集群——Atlas900SuperCluster,可支持超万亿参数的大模型训练。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

据介绍,新集群采用了全新的华为星河AI智算交换机CloudEngineXH16800,借助其高密的800GE端口能力,两层交换网络即可实现2250节点(等效于18000张卡)超大规模无收敛集群组网。

新集群同时使用了创新的超节点架构,大大提升了大模型训练能力。此外,发挥华为在计算、网络、存储、能源等领域的综合优势,从器件级、节点级、集群级和业务级全面提升系统可靠性,将大模型训练稳定性从天级提升到月级。

此外,华为发布了更开放、更易用的CANN7.0异构计算架构,不仅全面兼容业界的AI框架、加速库和主流大模型,还深度开放底层能力,让AI框架和加速库可以更直接地调用和管理计算资源,使能开发者自定义高性能算子,让大模型具备差异化的竞争力。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

华为还升级了AscendC编程语言,以更高效的编程方式,简化算子实现逻辑,大幅缩短融合算子的开发周期,为AI模型与应用的快速开发赋能。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

面向全球企业和开发者,华为云官网今日正式上线昇腾AI云服务“百模千态”专区,专区收录了业界主流开源大模型,并全面基于昇腾AI云服务进行适配和优化;提供应用开发的工具链,开发工具已经全部实现了云化,免去繁琐的配置流程,实现一键接入,即开即用。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

▲昇腾AI云服务百模千态专区

IT之家查询获悉,截至今年7月,昇腾AI集群已支撑全国25个城市的人工智能计算中心建设,其中7个城市公共算力平台入选首批国家“新一代人工智能公共算力开放创新平台”。

同时,昇腾AI已发展30多家硬件伙伴、1200多家ISV,联合推出了2500多个行业AI解决方案,规模服务于运营商、互联网、金融等行业。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-09-21 08:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

华为推出昇腾AI计算集群 可支持超万亿参数大模型训练 【华为推出昇腾AI计算集群 可支持超万亿参数大模型训练】《科创板日报》20日讯
2023-09-20 14:55:00
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...,而整个网络世界也就成为了一个巨大的异构的AI服务器集群。——任何有相关算力的设备都可以参与到训练过程之中。实验证明
2024-09-10 13:39:00
GPT-4被破解 训练成本 模型架构的秘密都被挖出来了?
...模型之后微调得到的。BatchSize:batchsize是逐渐上升的,在集群中经过几天的时间达到一个数值。最终,OpenAI的BatchSize达到了6000万
2023-07-12 20:14:00
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...算力需求对 GPU 等硬件提出了更高要求,大规模 GPU 算力集群成为必然选择。这也是为什么近年来国内外科技厂商纷纷布局 AI 算力基础设施,死磕万卡甚至 10 万卡集群。此
2024-09-26 13:37:00
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据
2024-04-20 11:03:00
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...就越多。需要说明的是,大型语言模型训练依赖于组织成集群的众多图形处理器,这些集群是互连的图形处理器阵列,可以执行训练具有数十亿参数的模型所需的大量计算。在集群内的处理器之间分
2024-06-18 16:13:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...100天,折算成H100则需要1000张;Meta今年推出2个24576张H100集群,用于训练Llama 3等新模型
2024-07-09 09:47:00
...正在和华为一道打造面向超大规模大模型训练的国产算力集群,形成集群化优势。“科大讯飞和华为已在联合攻关算力卡脖子的问题。”8月15日,科大讯飞董事长刘庆峰在合肥举办的讯飞星火认
2023-08-16 09:02:00
oppofindx7系列带来行业首个端侧应用70亿参数大模型
...云侧大模型可以实现快速迭代。其中,浸没GPU+IB网络训练集群,让训练性能相比传统风冷提升8+%,同时让能效提升45%
2024-01-10 12:06:00
更多关于科技的资讯: