• 我的订阅
  • 科技

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

类别:科技 发布时间:2024-08-24 09:32:00 来源:机器之心Pro

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

该论文作者来自于鹏城实验室多智能体与具身智能研究所及南方科技大学、中山大学的师生团队,包括林倞教授(研究所所长,国家杰青,IEEE Fellow),郑锋教授,梁小丹教授,王志强(南科大),郑浩(南科大),聂云双(中大),徐文君(鹏城),叶华(鹏城)等。鹏城实验室林倞教授团队致力于打造多智能体协同与仿真训练平台、云端协同具身多模态大模型等通用基础平台,赋能工业互联网、社会治理与服务等重大应用需求。

今年以来,具身智能正在成为学术界和产业界的热门领域,相关的产品和成果层出不穷。今天,鹏城实验室多智能体与具身智能研究所(以下简称鹏城具身所)联合南方科技大学、中山大学正式发布并开源其最新的具身智能领域学术成果 ——ARIO(All Robots In One)具身大规模数据集,旨在解决当前具身智能领域所面临的数据获取难题。

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

论文题目:All Robots in One: A New Standard and Unified Dataset for Versatile.General-Purpose Embodied Agents 论文链接:http://arxiv.org/abs/2408.10899 项目主页:https://imaei.github.io/project_pages/ario/ 鹏城实验室具身所网站链接:https://imaei.github.io/

作为具身机器人的大脑,想要让具身大模型的性能更优,关键在于能否获得高质量的具身大数据。不同于大语言模型或视觉大模型用到的文本或图像数据,具身数据无法从互联网海量内容中直接获取,而需通过真实的机器人操作来采集或高级仿真平台生成,因此具身数据的采集需要较高的时间和成本,很难达到较大的规模。

同时,当前开源的数据集也存在多项不足,如上表所示,JD ManiData、ManiWAV 和 RH20T 本身数据量不大,DROID 数据用到的机器人硬件平台比较单一,Open-X Embodiment 虽然达到了较大规模的数据量,但其感知数据模态不够丰富,而且子数据集之间的数据格式不统一,质量也参差不齐,使用数据之前需要花大量时间进行筛选和处理,难以满足复杂场景下具身智能模型的高效率和针对性的训练需求。

相比而言,此次发布的 ARIO 数据集,包含了2D、3D、文本、触觉、声音 5 种模态的感知数据,涵盖操作和导航两大类任务,既有仿真数据,也有真实场景数据,并且包含多种机器人硬件,有很高的丰富度。在数据规模达到三百万的同时,还保证了数据的统一格式,是目前具身智能领域同时达到高质量、多样化和大规模的开源数据集。

对于具身智能的数据集而言,由于机器人有多种形态,如单臂、双臂、人形、四足等,并且感知和控制方式也各不相同,有些通过关节角度控制,有些则是通过本体或末端位姿坐标来驱动,所以具身数据本身比单纯的图像和文本数据要复杂很多,需要记录很多控制参数。而如果没有一个统一的格式,当多种类型的机器人数据聚合到一起,需要花费大量的精力去做额外的预处理。

因此鹏城实验室具身所首先设计了一套针对具身大数据的格式标准,该标准能记录多种形态的机器人控制参数,并且有结构清晰的数据组织形式,还能兼容不同帧率的传感器并记录对应的时间戳,以满足具身智能大模型对感知和控制时序的精确要求。下图展示了 ARIO 数据集的总体设计。

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

图 1. ARIO 数据集总体设计

ARIO 数据集,共有 258 个场景序列,321064 个任务,303 万个样例。ARIO 的数据有 3 大来源,一是通过布置真实环境下的场景和任务进行真人采集;二是基于 MuJoCo、Habitat 等仿真引擎,设计虚拟场景和物体模型,通过仿真引擎驱动机器人模型的方式生成;三是将当前已开源的具身数据集,逐个分析和处理,转换为符合 ARIO 格式标准的数据。下面展示了 ARIO 数据集的具体构成,以及 3 个来源的流程和示例。

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

图 2. ARIO 数据 3 个来源

真实场景的高质量的机器人数据不易获取,但意义重大。鹏城实验室基于 Cobot Magic 主从双臂机器人,设计了 30 多种任务,包括简单 —— 中等 —— 困难 3 个操作难易等级,并通过增加干扰物体、随机改变物体和机器人位置、改变布置环境等方式增加样例的多样性,最终得到 3000 多条包含 3 个 rgbd 相机的轨迹数据。下面展示了不同任务的采集示例以及采集视频。

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

图 3. ARIO 真实机器人数据采集示例

得益于 ARIO 数据的统一格式设计,能够很方便地对它的数据组成进行统计分析。下图展示了从 series、task、episode 三个层面对 ARIO 的场景(图 a)和技能(图 b)的分布进行统计。从中可见,目前大部分的具身数据都集中在室内生活家居环境中的场景和技能。

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

除了场景和技能,在 ARIO 数据中,还能从机器人本身的角度进行统计分析,并从中了解当前机器人行业的一些发展态势。 ARIO 数据集提供了机器人形态、运动对象、物理控制变量、传感器种类和安装位置、视觉传感器的数量、控制方式比例、数据采集方式比例、机械臂自由度数量比例的统计数据,对应下图 a-i。

以下图 a 为例,从中可以发现,当前大部分的数据来源于单臂机器人,人形机器人的开源数据很少,且主要来源于鹏城实验室的真实采集和仿真生成。

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

图 5.ARIO 数据集分类统计

更多关于 ARIO 数据集的详细信息与下载链接,请参考论文原文与项目主页。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-08-24 11:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...户真实评价数据, 2021年承接文化和旅游部旅游服务质量标准化研究项目,推动行业标准落地,在数据分析和标准研究方面有较好的理论基础。基于此,实验室综合运用云计算、大数据、NL
2022-12-21 06:55:00
...特色实验教学空间和功能室建设得到系统加强,教育装备标准化、信息化、现代化水平明显提升,基本建成与经济社会发展、高质量教育体系建设相适应的设施设备支撑体系。具体将从三个方面着手
2024-06-17 09:06:00
...:科技日报国内智能计算标准制定工作尚处于起步阶段,标准化工作对智能计算及相关产业的发展具有基础性、支撑性、引领性作用,是推动智能计算产业创新发展的关键抓手。◎本报记者 江耘
2023-07-10 02:35:00
数智化实验室,解放研发人员双手
...化实验取代大量人类操作环节,增强实验过程的精确度、标准化与一致性,从而提高人类的创新能力与效率,驱动AI算法在更广阔的化学空间中搜索和设计新药。记者在实验室内看到,百余台机器
2024-05-24 06:20:00
盛元广通中小型检测机构实验室信息管理系统LIMS
随着实验室的发展,用标准化管理当前的实验室,是为实验室的进一步提高科研发展水平做准备。对于中小型检测机构,选择适合其规模和需求的LIMS系统是很重要的。让样品登记,实验室数据,结
2023-08-28 11:22:00
英博云多款智算产品发布,首提「单位有效算力成本」新指标
...本”这一评价体系及计算公式,为行业提供了一套全新的标准化评估体系。与传统以装机算力、设备成本、机电成本和运维成本等固定支出为核心的评价体系不同,“单位有效算力成本”将评价重点
2024-12-13 14:47:00
盛元广通基因测序实验室管理系统
...中,确保数据的完整性和可访问性。确保数据的一致性和标准化对于不同系统间的信息互通至关重要。■质量控制确保实验室内的操作流程标准化和规范化,包括样本处理、实验操作、数据采集和存
2023-12-11 11:36:00
浪潮KaiwuDB 联合信通院数据库应用创新实验室召开数据库技术研讨沙龙
...据库技术有限公司联合数据库应用创新实验室、中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)主办的“夯实数据库技术底座,探索智能时代发展新篇章”主题技术沙龙在
2023-10-27 17:45:00
...亚、丹麦、荷兰等7个国家直接采标应用,被德国工业4.0标准化组织推荐使用……“新一代科技革命就是要让工厂里所有设备通过物联网技术进行连接,像手机与手机之间一样‘自由通信’。”
2024-04-16 04:17:00
更多关于科技的资讯:
9月26日,购在中国(山西站)暨中石化易捷第八届易享节在我市启动,诸多三晋名特优产品将陆续入驻中石化易捷,走向全国。今后
2025-09-28 08:20:00
刚刚闭幕的长春航空展上,“净月号”成瞩目焦点
9月23日,长春航空展圆满闭幕,“净月号”凭借其震撼的实体造型与深厚的文化内涵,成为展会瞩目的焦点。这艘承载中式太空梦想的“星舰”
2025-09-28 10:07:00
为更好的服务广大客户,富德生命人寿安平支公司积极组织员工开展《产品健康增值服务》培训。培训中,讲师细致讲解公司产品健康增值服务
2025-09-28 10:12:00
河北新闻网讯(王丽英)9月24日至25日,宁晋县晶龙集团举行人力资源专业培训,内训师靳桂峰、王素峰和张晓宁分别围绕工伤保险及识人辨人
2025-09-28 10:18:00
美团Keeta上线阿联酋!40天连开3国,国际化全速推进
当地时间9月27日上午11点,美团旗下国际外卖品牌Keeta正式在阿联酋迪拜启动运营,这是Keeta继8月上线卡塔尔、9月上线科威特后
2025-09-28 10:22:00
小米17系列9月27日开售,卢伟冰称ProMax需求远超预期,已安排快速提拉生产
9月27日上午10点,小米17系列开售,价格4499元起!并全系首发第五代骁龙 8 至尊版。据悉,小米17尺寸6.3,7000mAh 电池
2025-09-28 10:22:00
齐鲁晚报·齐鲁壹点 王会广 通讯员 李杰在数字经济蓬勃发展的当下,大数据、云计算、物联网、移动互联网、人工智能以及区块链等新兴技术的广泛应用
2025-09-28 10:56:00
实时互动x高效制播:佳能携手《密室大逃脱大神版 互动直播》真人秀实现制作新范式
在直播与正片并行制作逐渐成为综艺内容生产新常态的当下,真人秀现场对影像系统的要求不断提升:既要满足直播的即时输出,又要兼顾正片制作的高质量成片
2025-09-28 11:51:00
齐鲁晚报·齐鲁壹点菏泽光影在线摄影摄像实战培训班11月初开启
从“拍摄小白”到“拍摄大神”,你只差这一套实战课!齐鲁晚报(光影在线实战培训)告别“自动挡”,用镜头讲故事。这是一个视觉统治注意力的时代
2025-09-28 12:03:00
烟台银行威海荣成支行“金融+”开辟服务新路径
近日,烟台银行荣成支行通过创新推出的“智慧物业”合作解决方案,成功为当地多家物业公司纾困解难,有效破解了长期困扰行业发展的收费难
2025-09-28 12:05:00
莫林酒店洛阳首店落子!完善文旅服务补中高端住宿
作为中国第一古刹,洛阳白马寺的文旅热度在 2025 年暑期再攀新高 —— 日均接待游客超 8000 人次,35 元亲民票价搭配免费斋饭政策
2025-09-28 12:22:00
国庆车票开抢第三天,在全网“开票即候补”的声音中,假期出行的火热程度可见一斑。而且今年又是一次中秋假期叠加国庆假期,连续八天假
2025-09-28 12:22:00
新城控股青岛即墨吾悦广场盛大开业 以专业匠心构建与人欢喜新商业
9月26日,新城控股(601155.SH)2025年第二座商业项目——青岛即墨吾悦广场正式开业。有着“千年商都,泉海即墨”美誉的即墨
2025-09-28 12:25:00
《系统出海》专家研讨会在山东财经大学举行
“不出海就出局,但出海又怕掉坑里?”9 月 27 日,一场聚焦中企出海破局的《系统出海》专家研讨会在山东财经大学热闹开讲
2025-09-28 14:59:00
苏宁易购启动“930家电普惠日”促销活动
多彩贵州网讯(本网记者陈熺)9月26日,苏宁易购联合百余家家电品牌,正式启动“930家电普惠日”活动。该活动将于9月30日0点至10月1日24点在全国范围内开展
2025-09-28 15:12:00