• 我的订阅
  • 科技

信服云EDS:助力清华大学智能产业研究院构建高性能文件存储底座

类别:科技 发布时间:2023-02-22 20:00:00 来源:砍柴网

“人工智能应用落地的‘高歌猛进’,是有人在‘负重前行’。”

王博士(化名)作为清华大学智能产业研究院自动驾驶课题组的一员,负责车路协同数据集的训练工作。

课题研究中,王博士在电脑上要处理成千上万张图片:每一张图片,道路轨迹、建筑形状都不尽相同,一张图片里可以拆分出好几个标签,这是他每天都要面对的“复杂”标注题。

“我们拿到这些文件之后,可以挖掘出很多信息,然后不断地去进行标注。既要保证标注的效率,也要保证质量,这样才能训练出更精准的AI模型。”

信服云EDS:助力清华大学智能产业研究院构建高性能文件存储底座

图片来源:清华大学智能产业研究院官网

自动驾驶,是清华大学智能产业研究院的研究课题之一。作为一所面向第四次工业革命的国际化、智能化、产业化研究机构,这里汇聚了来自全球的国际顶尖科学家、产业变革领袖和世界级研创团队。

他们站在国际科技前沿,引领中国的科技创新,探索着自动驾驶、生物计算、绿色计算等领域的未解之谜。

AI“更懂”人类的背后,是大量数据训练的结果。

时逢2022年的9月,清华大学智能产业研究院的多项科研工作都在和时间赛跑。就在这时,清华大学智能产业研究院的十多个课题组感受到了AI研究工作的“阻力”,“给图像做标注时,图片迟迟加载不出来;检索图片,系统也要卡很久。”

原来,训练AI数据集需要存储大量数据,数据量很快就达到百TB级,而传统存储阵列在庞大的数据量面前“不堪重负”,没有展示出最佳的性能、可扩展性等能力,导致科研工作者们在实际操作时遇到了卡慢问题。

面对存储性能提升的难题,信服云EDS为清华大学智能产业研究院设计了高性能文件存储方案。480TB存储空间配置完成后,有了充足的存储空间,科研工作者们可以放心地开展AI训练的工作。

一个可以尽情“驰骋”的存储底座,背后是信服云EDS“刚柔并济”的实力。

在硬件上,信服云EDS采用通用的X86服务器搭配NVMe固态硬盘的组合形式,构建存储高性能层,这使得训练集群访问数据时,可以优先经过高性能层的缓存加速,相较于传统磁盘阵列,存储性能有了大幅提升。

在软件上,信服云EDS通过自研的分布式高性能文件系统,利用小文件合并、phxkv分布式元数据库、智能预加载等自研技术,提高KB级小文件的元数据和数据处理效率,有效保障AI训练过程中访问数据的效率,并大幅缩短了科研中的AI训练时间。

对于清华大学智能产业研究院而言,选择一款存储产品首要关注的是性能。因为科研工作者在标注数据时,需要不停地读取文件和创建文件,频繁的操作中无疑会增加元数据的访问耗时,CPU算力也会受到影响,而信服云EDS让读写文件的性能彻底告别了卡慢。

信服云EDS:助力清华大学智能产业研究院构建高性能文件存储底座

其实,信服云EDS和用户的双向奔赴,不止于此:

容量与性能的同步扩展,见证千行百业的腾飞与发展。

“我们现在的容量使用率已经超过90%,但性能丝毫没有受影响。”除了提供稳定一致的性能表现,信服云EDS灵活扩展的能力,也在不断刷新用户的预期。考虑到研究院数据规模不断增长的情况,信服云EDS支持同时扩展容量和性能,这打破了传统存储架构的局限性。

信服云EDS:助力清华大学智能产业研究院构建高性能文件存储底座

在传统存储架构中,容量增长到一定程度,性能的增长不会相应增加,甚至还会出现性能下降的现象。而信服云EDS实现了容量和性能的同步扩展,在容量扩展的同时,存储性能也随之线性增长。以集群规模扩展至8节点为例,混合盘配置4KB随机读可达120万IOPS。

故障闭环处理的设计,是保障业务可靠运行的底气。

在注重高性能的同时,业务连续性和数据可靠性也不可忽视。为此,信服云EDS构建了完整的故障闭环处理框架:

在故障发生前,通过硬件亚健康预测、检测和数据多副本、纠删码等机制,帮助用户提前预防故障的发生;亚健康的可视化监控,则让用户感知硬盘健康状态,提前做好备件采购和替换准备工作。

在故障发生时,通过亚健康硬件自动隔离、智能数据修复、I/O路径自动切换等机制,自动处置问题,最大化减轻运维的压力,同时也保障了业务连续性和数据可靠性。如若发生人为误删除、恶意删除或超过冗余机制范围的故障等情况,可通过快照备份、回收站等机制快速找回数据。

这些高可靠的设计,也是用户坚定选择信服云EDS的理由之一。

截至目前,信服云EDS已经累计参与交付超过20000个客户和300+例PB级项目,在AI训练、卫星遥感、医疗影像、动漫制作、软件开发等场景获得了用户的广泛认可。

信服云EDS:助力清华大学智能产业研究院构建高性能文件存储底座

从蒸汽技术革命到信息技术革命,科技一次次改变着世界。

这一次,AI的想象力更是无限。这些面向未来交通、医疗、绿色发展的难题,也正在一步步被清华大学智能产业研究院的科学家们“拿下”:

发布全球首个真实场景车路协同数据集

研发出连续获得全球第一的自动化蛋白质结构预测平台

绿色计算5G网络智能减碳技术获得吴文俊人工智能科技进步奖

丈量寰宇,眺望星辰。在科技领航者的探索下,智能时代正以一种前所未有的清晰度呈现在我们面前。信服云EDS身处这个伟大的时代中,将集自身之所长,融用户之所需,助力科研工作者们在数据的浩瀚宇宙中,自由翱翔。返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-02-22 21:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

深信服重磅发布分布式存储EDS 501高性能版本!
...优、场景适应性最强的企业级存储系统。此次发布会上,清华大学智能产业研究院、上海市肺科医院、中科大洋、武汉大势智慧科技有限公司等高精尖领域的用户与头部行业服务商共同分享存储建设
2023-06-15 19:00:00
如果你的大脑可以模拟,会发生什么?
...米。以记忆为例,就与突触形态与功能的长期变化有关。清华大学集成电路学院长聘副教授高滨举了一个例子:生理学先驱巴甫洛夫每天在狗吃饭前敲响铃声,再给它食物。经过一段时间,狗只要听
2024-05-09 15:21:00
中国算力全球第二:“大力”如何出奇迹?
...)“大力出奇迹。”10月13日,中国工程院院士、CCF会士、清华大学计算机系教授郑纬民在2023世界数字经济大会暨第十三届智慧城市与智能经济博览会主论坛上表示,中国算力位居全
2023-10-13 20:58:00
卷模型技术,更要卷工程实现
...用。《开谈》圆桌AI 时代的研发新范式与开发者能力演进清华大学计算机系学士、硕士;有超过10年的新技术研发和创新管理经验。曾任四达时代传媒集团研究院首席架构师,负责设计和建设
2023-08-10 10:00:00
吴立新院士:超算与人工智能深度融合的时代已经来临
...大常委会委员、中国科学院院士吴立新中国工程院院士、清华大学计算机系教授郑纬民就如何建设国产超算基础软件生态提出四点建议:第一,加强超算基础软件研制,提升转化能力;第二,研制统
2023-08-25 16:34:00
我国计算力水平位居全球第二(大数据观察)
...产业发展。不久前,由国际数据公司(IDC)、浪潮信息、清华大学全球产业研究院联合编制的《2022—2023全球计算力指数评估报告》在北京发布。评估结果显示,2022年,中国整
2023-07-28 05:55:00
聚焦“数智创新 AI未来” :2023数据与存储峰会圆满落幕
...应用需求。”本次峰会上出现了一个新的名词:存储税。清华大学长聘教授、闽江学院院长 舒继武 清华大学长聘教授、闽江学院院长舒继武解释说:“ 存储税,就是将支持数据存储应用需求
2023-11-30 11:48:00
5年投资超1000亿,北京公布一系列AI重磅成果,北大清华百度蚂蚁微软大佬齐谈AI未来|钛媒体AGI
...京大学教授、中国科学院院士鄂维南;中国工程院院士、清华大学信息科学技术学院院长戴琼海;百度CTO王海峰;蚂蚁集团CTO何征宇;微软全球资深副总裁、Microsoft AI亚太
2024-04-28 11:00:00
月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake
IT之家 11 月 28 日消息,月之暗面 Kimi 和清华大学 MADSys 实验室 2024 年 6 月联合发布了 Kimi 底层的 Mooncake 推理系统设计方案
2024-11-29 09:22:00
更多关于科技的资讯:
锁定10月北京 首个U宠生活方式展UPET内容大餐已就位
金秋十月,不可错过的宠物行业新概念展——Upet有宠生活展 北京首个城区宠展充满创新基因的Upet有宠生活展,将于10月24-26日
2025-09-09 11:38:00
智能制造重塑生产模式——辛集省级先进智能工厂一线观察
近日,河北省工业和信息化厅公布2025年第一批先进级智能工厂名单,辛集市澳森特钢集团有限公司、河北申科电子股份有限公司
2025-09-09 11:38:00
中国AI云市场报告:阿里云占比35.8%,高于2到4名的总和
9月9日,国际权威市场调研机构英富曼(Omdia)发布《中国AI云市场,1H25》报告,报告显示,2025年上半年,中国AI云市场规模达223亿元
2025-09-09 11:45:00
京东户外出游季正式开启 携手迪卡侬、牧高笛等带来大牌爆品不止5折
金秋时节天朗气清,正是奔赴户外探索自然的好时机。9月8日起,京东户外装备出游季正式开启,携手迪卡侬、喜德盛、牧高笛、挪客
2025-09-09 11:49:00
【宅男财经|专家面对面】9月8日,媒体获悉,小米公司发布内部公告称,中国区市场部员工王腾,泄露公司机密信息,且存在利益冲突等严重违规违纪行为
2025-09-09 12:13:00
8月12日,位于宁晋县的河北童泰电子商务有限公司内,各式各样的儿童服装整齐摆放,款式新颖,直播间的工作人员正对着镜头推介婴幼儿连体衣和包臀衣
2025-09-09 12:23:00
鲁网9月9日讯水流悄无声息地通过测量管道,水表内的换能器就能精准地发射、接收超声波信号,并对接收到的数据进行智能处理和分析
2025-09-09 13:18:00
一台绘蜡机 绘出蜡染新风采
9月5日,走进位于凯里市民族文化创意产业园的初色东方(贵州)品牌运营管理有限公司,凯里市蜡染传承人靳秀丽正在操作绘蜡设备
2025-09-09 13:24:00
2025亚太机器人世界杯青岛国际邀请赛在青举行
齐鲁晚报·齐鲁壹点 徐润杰 杨雪 通讯员 杨治峰9月6日至9日,作为2025海洋合作发展论坛的同期活动,2025亚太机器人世界杯青岛国际邀请赛在青岛西海岸新区举行
2025-09-09 09:37:00
电网运行风险防御技术与装备全国重点实验室:他们在!大停电多年未遇,“网”自岿然不动编者按科技改变世界,而位于各大高校院所
2025-09-09 07:43:00
由十几人紧盯变一两人巡检,5G+智能产线“显神通”一根头发丝的1/7!滑块南京造,精度航天级□南京日报/紫金山新闻记者黄琳燕走进南京工艺装备制造股份有限公司(以下简称“南京工艺”)的“5G+智能滑块生产线”车间
2025-09-09 07:43:00
尚诗颖 南昌市新建区象山初级中学摘要:人工智能为中学生外语教育领域引入了新的变革与视角,着重关注学生个性化学习需求及自主学习能力的培养
2025-09-09 06:59:00
共创优质产品体验,从“MagicOS创享家”看荣耀的“听劝”哲学
摘要:以“听劝”的姿态持续进化,才是产品迭代的核心价值坐标。8月底,成都宽窄巷子又一次“出圈”了。年轻人能听Live现场
2025-09-08 08:19:00
网易云音乐教师节特别活动正式上线 百万黑胶VIP免费领
9月5日,网易云音乐教师节特别活动正式启动。本次活动为教师与学生群体都准备了丰厚福利,教师可免费领取100万份专属福利大礼包
2025-09-08 08:20:00
人工智能成“显眼包” 一批高科技产品亮相投洽会
MUGIN EV350全电动碳纤维垂直起降无人机平台,轻量化碳纤维机身设计,兼顾高强度与低能耗,适用于城市巡检、应急通信等场景
2025-09-08 09:01:00