• 我的订阅
  • 科技

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

类别:科技 发布时间:2023-09-21 06:47:00 来源:浅语科技

9月20日消息,在今日举行的华为全联接大会2023期间,华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛正式发布全新架构的昇腾AI计算集群——Atlas900SuperCluster,可支持超万亿参数的大模型训练。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

据介绍,新集群采用了全新的华为星河AI智算交换机CloudEngineXH16800,借助其高密的800GE端口能力,两层交换网络即可实现2250节点(等效于18000张卡)超大规模无收敛集群组网。

新集群同时使用了创新的超节点架构,大大提升了大模型训练能力。此外,发挥华为在计算、网络、存储、能源等领域的综合优势,从器件级、节点级、集群级和业务级全面提升系统可靠性,将大模型训练稳定性从天级提升到月级。

此外,华为发布了更开放、更易用的CANN7.0异构计算架构,不仅全面兼容业界的AI框架、加速库和主流大模型,还深度开放底层能力,让AI框架和加速库可以更直接地调用和管理计算资源,使能开发者自定义高性能算子,让大模型具备差异化的竞争力。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

华为还升级了AscendC编程语言,以更高效的编程方式,简化算子实现逻辑,大幅缩短融合算子的开发周期,为AI模型与应用的快速开发赋能。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

面向全球企业和开发者,华为云官网今日正式上线昇腾AI云服务“百模千态”专区,专区收录了业界主流开源大模型,并全面基于昇腾AI云服务进行适配和优化;提供应用开发的工具链,开发工具已经全部实现了云化,免去繁琐的配置流程,实现一键接入,即开即用。

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练

▲昇腾AI云服务百模千态专区

IT之家查询获悉,截至今年7月,昇腾AI集群已支撑全国25个城市的人工智能计算中心建设,其中7个城市公共算力平台入选首批国家“新一代人工智能公共算力开放创新平台”。

同时,昇腾AI已发展30多家硬件伙伴、1200多家ISV,联合推出了2500多个行业AI解决方案,规模服务于运营商、互联网、金融等行业。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-09-21 08:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

华为推出昇腾AI计算集群 可支持超万亿参数大模型训练 【华为推出昇腾AI计算集群 可支持超万亿参数大模型训练】《科创板日报》20日讯
2023-09-20 14:55:00
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...,而整个网络世界也就成为了一个巨大的异构的AI服务器集群。——任何有相关算力的设备都可以参与到训练过程之中。实验证明
2024-09-10 13:39:00
GPT-4被破解 训练成本 模型架构的秘密都被挖出来了?
...模型之后微调得到的。BatchSize:batchsize是逐渐上升的,在集群中经过几天的时间达到一个数值。最终,OpenAI的BatchSize达到了6000万
2023-07-12 20:14:00
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...算力需求对 GPU 等硬件提出了更高要求,大规模 GPU 算力集群成为必然选择。这也是为什么近年来国内外科技厂商纷纷布局 AI 算力基础设施,死磕万卡甚至 10 万卡集群。此
2024-09-26 13:37:00
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据
2024-04-20 11:03:00
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...就越多。需要说明的是,大型语言模型训练依赖于组织成集群的众多图形处理器,这些集群是互连的图形处理器阵列,可以执行训练具有数十亿参数的模型所需的大量计算。在集群内的处理器之间分
2024-06-18 16:13:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...100天,折算成H100则需要1000张;Meta今年推出2个24576张H100集群,用于训练Llama 3等新模型
2024-07-09 09:47:00
...正在和华为一道打造面向超大规模大模型训练的国产算力集群,形成集群化优势。“科大讯飞和华为已在联合攻关算力卡脖子的问题。”8月15日,科大讯飞董事长刘庆峰在合肥举办的讯飞星火认
2023-08-16 09:02:00
oppofindx7系列带来行业首个端侧应用70亿参数大模型
...云侧大模型可以实现快速迭代。其中,浸没GPU+IB网络训练集群,让训练性能相比传统风冷提升8+%,同时让能效提升45%
2024-01-10 12:06:00
更多关于科技的资讯:
于都“织”出老区振兴新图景
本报讯 (全媒体记者李思成) 9月的赣南大地,秋意正浓。近日,记者随“高质量发展中国行·焕新江西”专题活动采访团一行走进赣州市于都县
2025-09-22 07:15:00
近日从太钢获悉,太钢供应用于国家能源局首台(套)重大技术装备项目——扎拉水电站的900兆帕超高强磁轭钢顺利通过叠检试验
2025-09-22 07:26:00
南京微短剧有流量更有“料”
微短剧《平凡警事》海报。微短剧《金箔奇缘》海报。百川短剧剧组在拍摄现场。 中国(南京)游戏谷。□芮天舒韶静王懿闫葛菲地铁里
2025-09-22 07:40:00
为什么越来越多的女生,恋爱前要交换体检报告?
“亲亲许可证”在即将接上吻的那一刻,女友的脑袋往后一躲,闪开了。紧接着,她抬起头,认真地盯着老王,问他,“你有没有幽门螺旋杆菌
2025-09-22 00:56:00
河北日报讯(见习记者康晓博)AI工业内窥镜、无针注射笔、分布式储能路灯、风滚草仿生播种机器人……9月20日,2025河北国际工业设计周活动开幕
2025-09-21 08:12:00
厦门网讯(厦门日报记者 林钦圣 通讯员 江安娜 徐燕) 最近,不少厦门市民都注意到这样一个现象:上班高峰期,正当大家为等候BRT快速公交车而焦急时
2025-09-21 09:00:00
乐陵杨安镇香辛料数智化交易平台正式启动
9月20日,乐陵市杨安镇以“智链未来・香聚全球”为主题的香辛料数智化交易平台启动仪式暨黄河商品交易市场香辛料品种上线仪式隆重举行
2025-09-21 09:25:00
现场签约金额达115亿元!中国制造业民营企业合作交流对接会聚焦“AI+”
大皖新闻讯 9月20日,2025世界制造业大会中国制造业民营企业合作交流对接会在合肥举行。活动现场签约项目10个,总额115
2025-09-21 10:14:00
留交会上首次设立“新招引企业专区”,200多个岗位虚席以待——这里有一份令人“新”动的邀约□南京日报/紫金山新闻记者张甜甜在9月20日举行的留交会现场
2025-09-21 10:24:00
“+”上去,活下来——2025世界制造业大会采访引发的思考
大河网讯 9月20日,2025世界制造业大会在安徽合肥开幕。河南省作为主宾省参会,30家企业参展。在人们的印象中,河南农业可圈可点
2025-09-21 14:48:00
十堰成功举办2025新能源汽车零部件交易会项目路演 十大前沿技术项目集中亮相
十堰广电讯(全媒体记者 耿吉国 通讯员 刘爱理)9月21日上午,2025新能源汽车零部件交易会项目路演活动在十堰国际会展中心成功举办
2025-09-21 15:32:00
河北新闻网讯(王丽英)近日,宁晋县晶龙餐饮管理总公司凭借市场化转型与外向型发展战略的深入实施,成功签约宁晋县产融区学生食堂
2025-09-21 15:53:00
中新经纬9月20日电 题:L2新国标将给智能驾驶立“铁律”作者 江瀚 盘古智库高级研究员智能网联汽车组合驾驶辅助系统或将迎来国家标准
2025-09-21 19:36:00
壹家之言丨“中国味都”迈入香辛料全球数字贸易新时代
9月20日,山东乐陵杨安镇香辛料数智交易平台正式启动,标志着“中国味都”迈入香辛料全球数字贸易新时代。这场发生在鲁北小镇的产业变革
2025-09-21 19:39:00
第三届全国技能大赛丨零售项目选手陈俪夫:以双语匠心赴技能之约
第三届全国技能大赛赛场热潮涌动,零售项目比拼现场,来自长春科技学院英语专业的陈俪夫正全神贯注地完成她的国赛首秀。曾斩获“21世纪杯全国英语演讲比赛”季军的陈俪夫
2025-09-21 18:07:00