• 我的订阅
  • 科技

浪潮信息推出as13000g7-n系列

类别:科技 发布时间:2024-06-16 10:27:00 来源:浅语科技

人工智能时代下,浪潮信息紧跟时代步伐,于近日推出分布式全闪存储AS13000G7-N系列,专为大模型优化而设,为数据存储带来革命性的突破。

该系列依托浪潮信息自研分布式文件系统,搭载新一代数据加速引擎DataTurbo,通过盘控协同、GPU直访存储、全局一致性缓存等技术为AI大模型数据归集、训练、数据归档与管理等阶段提供强大存储支撑能力,助力用户加速大模型系统的创新及应用落地。

浪潮信息推出as13000g7-n系列

DataTurbo数据加速引擎,全力保障大模型高效训练

在大模型的数据应用全流程中,要想使训练效率达到极致,减少不必要的资源浪费,训练阶段的数据读写性能成为重中之重。而想要提升算力利用率、降低模型训练成本,必须要在数据存储性能上进行创新。

AS13000G7-N系列具备强大的端到端性能优化能力,这也是模型训练阶段最为核心的考量因素。浪潮信息基于计算和存储协同的理念,依托自研分布式文件系统构建了新一代数据加速引擎DataTurbo,在缓存优化、空间均衡、缩短GPU与存储读取路径等方面进行了全面升级。”

■智能缓存优化,保障大模型训练速度与质量

AS13000G7-N能够通过对大小IO的智能识别,进行分类治理,小文件采取聚合的操作,大文件采取切片的操作,所有数据以大小均衡的模式保存到全局缓存中,实现小文件性能提升5倍,大文件性能提升10倍。在模型训练中断后,从Checkpoint恢复数据过程中,AS13000G7-N通过缓存预读技术,提前识别数据的冷热程度,加速了重复样本数据的读取,训练加载速度提升10倍。无论是读操作还是写操作,AS13000G7-N采取了字节级(Byte)分布式锁机制,粒度是主流并行文件系统锁机制粒度的几十分之一,确保多个节点访问共享资源时能够安全、有序地进行操作,从而保持训练数据的强一致性和训练质量。

■智能空间均衡,高水位下性能无衰减

AS13000G7-N搭载了浪潮信息自主研发的分布式并行客户端技术,相比通用私有客户端,卸载了独立的元数据,实现了元数据和数据节点的高效统一部署,有效提升存储的并发能力,充分利用训练节点网卡的带宽,让GPU算力得到完全释放。同时在存储端,相较于业界主流的文件系统需要在磁盘之上构筑一层文件协议,AS13000G7-N能够直接对裸盘的空间进行均衡排布,并在管理层面设计了智能空间预分技术,能够结合用户前端算力节点数量、训练模型的数量,对存储空间分配进一步进行智能策略预埋。这套组合拳能够使AS13000G7-N在空间利用率达到95%高水位时,依然可以平稳输出强大的性能。在模型训练的空间损耗上,AS13000G7-N相较传统方案,将损耗率降低了85%左右,充分保护了客户在大模型存储上的投资。

浪潮信息推出as13000g7-n系列

■GPU直通存储,服务万亿参数大模型

当大模型参数在百亿级别,GPU对存储资源的调用效率往往差别不大。但随着大模型从单模态走向多模态,数据量指数型增长,训练效率随之要求更高。从数据层面来看,AS13000G7-N具备和GPU直通的能力,数据流不经过客户端缓存,直接到达存储底层文件系统,缩短GPU与存储的读取路径,这项技术能够使存储读写带宽翻倍,大模型训练加载时间缩短50%。随着万卡万亿参数模型时代的到来,GPU直通存储高效提升数据读写访问的能力将是大模型训练的标配。

通过上述技术创新,浪潮信息分布式全闪存储AS13000G7-N不仅在数据存储性能上取得了显著的突破,还为大模型的训练提供了有力的支撑。在AI时代的浪潮中,大模型的应用需求日益迫切,浪潮信息作为领先的存储解决方案提供商,将继续致力于技术创新和产品研发,为用户提供更强大的数据加速引擎,全力保障大模型的高效训练,推动人工智能技术的快速发展和普及。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-16 15:45:17

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...操秀英近日,浪潮电子信息产业股份有限公司(以下简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制(LFA),可以有效捕捉局部信息和短依
2023-12-04 03:07:00
全面开源 浪潮信息发布千亿参数基础大模型“源2.0”
...改进方法并获得了能力的提升。“源2.0”能力测评数据(浪潮信息供图)如在算法方面,“源2.0”提出并采用了一种新型的注意力算法结构“局部注意力过滤增强机制”,让大模型在使用更
2023-11-28 07:46:00
AI落地千行百业,存储痛点凸显,浪潮信息如何助力AI向实?
...月,新一轮MLPerf存储基准测试成绩发布,其中,中国企业浪潮信息的分布式存储平台AS13000G7,在图像分割模型3D-UNet和天文学模型CosmoFlow共计8项测试中斩获5项最佳成绩
2024-11-08 09:46:00
“AIGC智算之道”圆桌对话: 浪潮信息+百川+快手+金山办公
...mp;CEO杨静主持“共话AIGC时代,智算发展之道”圆桌论坛,与浪潮信息高级副总裁刘军、百川智能技术联合创始人陈炜鹏、快手异构计算负责人刘凌志、金山办公技术总监熊龙飞围绕大
2023-09-13 18:00:00
近日,由浪潮云打造的浪潮海若大模型产品正式通过备案,并正式上线开放服务。浪潮海若大模型定位行业大模型市场,是面向政府、交通、能源、健康医疗、司法、智能制造等行业进行知识增强、安全
2023-12-19 14:04:00
...机遇,正在逐步改造重塑社会、经济、文化等各个领域。浪潮信息董事长彭震近日在接受中新网采访时称,生成式AI蓬勃发展的背后,算力尤其是AI算力已经成为驱动大模型进化的核心引擎。但
2023-11-07 15:53:00
AI服务器缺货真相调查:两天涨价30万,连“味精大王”都入场了
...AI服务器型号售价翻数倍,近300万一台却有价无市。包括浪潮信息、新华三、宁畅、联想、工业富联等多家头部厂商推出了大模型新机,但什么时候能排上单?随着美国加紧对英伟达GPU及
2023-10-21 17:43:00
浪潮信息元脑生态:合力致新,打通金融场景AI落地最后一公里
...行一站式OCR智能平台的建设实践中,可利邦、合合信息与浪潮信息基于元脑生态,合力诠释如何以生态之力“建立金融行业● 场景共同体”,跨越产业化AI落地的鸿沟,打通金融数智化转型
2023-06-30 17:01:00
...慧化预警、多点触发机制及多渠道监测预警的革新路径。浪潮智慧医疗针对当前传染病信息报送滞后、数据共享不足等痛点问题,依托自身在大数据与人工智能领域的技术与能力优势,推出浪潮灵枢
2024-10-21 17:10:00
更多关于科技的资讯: