• 我的订阅
  • 科技

全球顶级AI科学家李飞飞领衔的具身智能项目 到底长啥样?

类别:科技 发布时间:2023-07-11 22:00:00 来源:金融界

美国国家工程院院士、斯坦福大学教授李飞飞团队于近日发布了具身智能的最新研究成果,大模型接入机器人,可将复杂指令转化成具体行动规划,人类可以很随意地用自然语言给机器人下达指令,机器人也无需额外数据和训练。

该项目名为“VoxPoser”,相比传统方法需要进行额外的预训练,该项目用大模型指导机器人如何与环境进行交互,所以直接解决了机器人训练数据稀缺的问题。

《科创板日报》记者从官网到采访多位业内人士,一探这位全球顶尖AI科学家具身智能项目“VoxPoser”的真面目。

▍具身智能=?

《科创板日报》记者在VoxPoser官网看到,大模型接入机器人后,人类可以随意用自然语言给机器人下达指令,就像这样:

大语言模型+视觉语言模型,可以在3D空间中分析出目标和需要绕过的障碍,帮助机器人做行动规划,就像这样:

更重要的是,真实世界中的机器人在未经“培训”的情况下,可以直接执行任务,就像这样:

接入大模型后,机器人是如何“听懂人话”的呢?根据李飞飞团队阐述的工作原理:

首先,给定环境信息(用相机采集RGB-D图像)和人类要执行的自然语言指令。

随后,LLM(大语言模型)根据这些内容编写代码,所生成代码与VLM(视觉语言模型)进行交互,指导系统生成相应的操作指示地图,即3D Value Map(包括在哪里行动,怎么行动)。

最后,运动规划器合成6-DoF动作(上下、左右、前后,6自由度)。

对于VoxPoser项目,北京智谱华章科技有限公司AMiner项目团队在官方微博表示,他们指出了机器人操作中的一个主要瓶颈,即大多数模型仍依赖预定义的运动原语来进行与环境的物理交互。

机器人要灵活运动,依赖预先输入的数据来训练,但后者稀缺且昂贵,所以直到目前为止,机器人也只能实现工程师们预先定义的有限功能。

根据李飞飞团队成员Wenlong Huang在社交媒体的阐述,VoxPoser的原理是不需要对机器人进行预训练,即可有效解决原本的数据难题。

李飞飞团队的研究成果,在国内外社交媒体上引起了广泛的讨论。《科创板日报》记者注意到,一名前微软研究员和亚马逊云专家评价称,“这项研究走在了人工智能系统最重要、最复杂的前沿”,私募大佬但斌也在微博上转发了相关文章。

全球顶级AI科学家李飞飞领衔的具身智能项目 到底长啥样?

▍更智能的机器人,AI能力是关键

由于AI的加持,打开了人们对于机器人技术发展和应用场景的想象空间,近期机器人板块热度再次袭来,涨势明显。

一名机械行业券商研究员告诉《科创板日报》记者,近期他们正在密集调研机器人公司,尤其是人形机器人企业,并组织交流,要求是“调研50家机器人企业,交流100场”。

该研究员表示,但市场目前还是在炒作零部件供应商,AI+机器人,现在核心矛盾是AI能力,也即大模型、算法、操作系统等软件层面的构建方案,而真正具备这些能力的机器人企业并不多。

中国通信工业协会两化融合委员会副会长吴高斌接受《科创板日报》记者采访时表示,接入大模型,对整个机器人软件和硬件系统提出了许多新要求。一方面,大模型需要更强大的计算和存储能力。机器人厂商需要投入更多的资源来提升硬件设备的性能,以满足大模型的需求。

另一方面,大模型对软件系统的要求也更高。机器人厂商需要开发更加复杂和高效的算法和软件架构,以支持大模型的训练和应用。此外,大模型的使用还需要更多的数据集和标注,机器人厂商需要建立更完善的数据采集和管理系统。

因此,不同量级的公司对大模型的需求也存在一定的差异。吴高斌告诉记者,大型机器人厂商通常具有强大的研发实力和资源,对于他们而言,接入大模型几乎是必选项,小型机器人厂商的市场需求相对较小,可能更注重成本和性能的平衡,则并不一定要接入大模型。

前述研究员也告诉记者,AI+机器人方向,他们现在最关注的是特斯拉、小米、达闼、优必选这些头部企业的最新动向。

在刚刚结束的2023年世界人工智能大会上,特斯拉、达闼是位数不多展出人形机器人实物的厂商,在两个展区,挤满了前来观展的人员。在AI+机器人的概念下,产业链上哪种类型的公司将更具竞争力也成为了一个关注的焦点。

吴高斌认为,从整个产业链来看,与大模型相关的公司可能更具竞争力。这包括大型机器人厂商、人工智能技术提供商、数据服务提供商等。这些公司能够提供更先进的技术和更完善的解决方案,从而在市场上占据更有竞争力的地位。

来源:科创板日报返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-07-12 05:45:19

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...17日电(李纯 徐嘉艺)近日,《自然》杂志在线发布了中国科学家领衔发起、十八国科学家团队联合署名的人体蛋白质组导航国际大科学计划(Proteomic Navigator of the Human Body
2024-12-17 18:01:00
深耕粤港澳大湾区 开启智慧医学新时代
...、智能科技交叉融合的智慧医学新时代。π-HuB计划由我国科学家领衔发起并主导,得到国内外科学界广泛响应和支持的国际大科学计划。该计划旨在绘制人类全生命周期、全球性重大疾病及代
2023-09-26 20:44:00
西部(重庆)科学城引领作用日益凸显
...大会等高水平学术活动被引入重庆举办,吸引了众多顶尖科学家齐聚重庆、了解重庆、关注重庆。金凤实验室是西部(重庆)科学城建设高能级科创平台的缩影。今年以来,超瞬态实验装置等重大科
2023-12-15 14:56:00
湖北籍归国科学家朱松纯 在汉建设首个大型社会模拟器
...启动仪式上发表主旨演讲。记者周三春 摄 科学无国界,科学家却有祖国。选择回国的背后,是朱松纯放弃在美的终身教授职位、在海外拥有37名博士的实验室与科研团队等,携妻带女毅然回
2024-07-27 13:35:00
2024大湾区科学论坛:推动开放科学,迈向新质湾区
...延伸议题,同步设置了14场不同主题分论坛,超百位顶级科学家聚首羊城,由我国自主设计建造的首艘大洋钻探船“梦想”号在广州正式入列,240余项中国科学院重大科技成果集中亮相并开展
2024-11-20 21:02:00
...和违法记录。拥有明确的期刊发展规划和预期目标,顶尖科学家领衔的高水平国际化编委团队,国内外重大科研成果和前沿研究进展等优质稿源。期刊建设应符合北京市重点优势领域,并在项目执行
2024-06-19 07:48:00
...,在未来产业发展中踞得 “一席之地”。同时引进顶级科学家团队, “一事一议”“一人一策” ,采取 “引进专家团队+共建研究院”“揭榜求贤+龙头企业转化”“定向委托+重大平台攻
2024-07-11 17:53:00
2023网易未来大会开幕 共话中国科技和AGI未来
...、投资人,一同展望最前沿的科技和经济发展趋势。顶级科学家共话科技创新力人工智能技术大模型带来的“智能涌现”,让人类又一次站在了产业革命的转折点。技术与商业碰撞、现在与未来会面
2023-12-23 12:42:00
科学家挂帅 勇向“无人区”探索(图)
本文转自:天津日报海河实验室巡礼④科学家挂帅 勇向“无人区”探索(图)──合成生物学海河实验室开辟生物经济新赛道科研人员开展低碳生物制造研究。科研人员进行产业需求项目研发。 合
2023-06-12 05:36:00
更多关于科技的资讯:
厦门网讯(厦门日报记者 翁华鸿 通讯员 林雨新)在近日举行的2025全球数据管理峰会“数据要素分论坛暨大数据统计与人工智能技术创新管理研讨会”上
2025-10-03 08:38:00
兴趣-实践-视野:达芬奇金奖少年带来的教育启示录
摘要:2025“你是达芬奇”全球青少年科学与艺术创新赛圆满落幕,其中金奖获奖少年的亲身实践告诉我们,在AI赋能的新时代
2025-10-02 16:22:00
单日调用近1万亿次,高德助力北斗规模化民用跨入新量级
2025年10月1日,随着国庆长假首日出行高峰的到来,高德基于北斗卫星导航系统的定位数量接近1万亿次,支撑导航总里程数超90亿公里
2025-10-02 22:31:00
10月1日,从太钢获悉,今年以来,太钢不锈进料加工团队以“精准备案、高效协同”为核心,在进料铬铁镍铁资源利用方面取得突破性进展
2025-10-02 17:39:00
厦门网讯(厦门日报记者 林露虹)记者昨日从中国移动咪咕公司获悉,该公司打造的“鼓浪屿AI伴游”服务已正式上线。市民和游客只需打开“鼓浪屿元宇宙”微信小程序
2025-10-02 08:57:00
“中国脑机谷”落户新奥新智感知产业园 政企研协同构建脑机接口产业新生态
河北新闻网讯(张新)9月26日,脑机接口产业联盟首届“脑机接口50人论坛”暨天津脑机接口产业创新发展推进会举办。会上,由新奥集团旗下的天津新智感知科技有限公司
2025-10-01 08:40:00
国网三明供电公司:守护灯火庆华诞 主动运维显担当
国网三明供电公司检修人员及时更换损坏器件并调整传动系统并完成设备修复及全套试验。(纪长添 摄)东南网10月1日讯 9月28日
2025-10-01 09:19:00
9月26日,由华东政法大学与上海星瀚律师事务所联合主办的第三届“星瀚杯”走进企业的法律课公益大赛正式启动。腾讯云作为大赛的技术支持单位
2025-10-01 09:56:00
平望实小承办吴江区骨干教师(数学)讲学团活动
为进一步发挥吴江区骨干教师的示范和辐射作用,推进课堂教学改革,有效提升教师教学业务能力。2025年9月24日,由苏州市吴江区教师发展中心主办的2025年吴江区骨干教师(数学)讲学团活动在平望实验小学举行
2025-10-01 09:58:00
AI技术让抗战文物“活起来”,人民日报数字传播联合百度推抗战文物智能体
9月30日,由人民日报数字传播与中国国家博物馆、中国人民大学、百度文心大模型、百度百科联合出品的《80年,80件》智能体和3D文物词条正式上线
2025-10-01 10:00:00
新时达2025工博会圆满落幕 | STEP 2.0战略引领智能制造新篇章
2025年9月23日至27日,第二十五届中国国际工业博览会在国家会展中心(上海)盛大举行。新时达以"智拓无界 共创未来"为主题
2025-10-01 10:00:00
从课堂到产线,河北工大学子开展智慧物流与“地狼”系统自动化技术实训
河北新闻网讯(胡广涛)组装调试机器人、体验智慧仓储系统、探索自动化技术前沿……近日,河北工业大学人工智能与数据科学学院2022级自动化专业全体学生在廊坊分校
2025-10-01 11:12:00
中国青年报客户端讯(中青报·中青网记者 夏瑾)9月30日,由湖州师范学院音乐学院、湖州市音声数据挖掘与智能服务重点实验室主办的“1617系列明代魏氏乐虚拟乐器音源”全球发布会在浙江省杭州市举办
2025-10-01 14:11:00
“智慧武当”给游客带来数字文旅新体验
十堰广电讯(通讯员 汪伟 周琼 耿宇)“一部手机游武当”预约购票、AI导游、《入境武当》VR大空间、问道武当数字客厅……国庆假日
2025-10-01 18:35:00
津云文旅电商版块上线 首发“笑漾海河”优选线路 扫码阅读手机版
10月1日,天津鹏欣水游城14周年庆暨津云新媒体“笑漾海河”文旅电商线路首发仪式成功举办。近年来,随着“文旅+电商”模式的快速发展
2025-10-01 18:55:00