• 我的订阅
  • 科技

国内创业者和投资人如何看待 Figure 01 机器人:距离具身智能还有多远?

类别:科技 发布时间:2024-03-17 19:11:00 来源:36氪

3 月 13 日,Figure 发布了和 OpenAI 合作后的首个机器人 Figure 01 的演示:视频中,Figure 的人形机器人,可以完全与人类流畅对话,理解人类的意图,同时还能理解人的自然语言指令进行抓取和放置,并解释自己为什么这么做。

Figure 01 具体采用了什么技术,和 Sora 有关吗?

相比过去的机器人技术有什么质的飞跃?以及这对于国内机器人创业者有什么新的启发?

针对以上问题,我们采访了国内大模型和机器人行业的创业者、投资人,以下回答经 Founder Park 整理编辑。

大模型+机器人,OpenAI 又「截胡」了 Google李志飞:出门问问创始人&CEO。 原理:Figure 类似 PaLM-E + RT-1,而非端到端的 RT-2

原理上,机器人 Figure 看起来类似于 Google 在 2023 年 3 月发布的 PaLM-E 和 RT-1 的 pipeline 组合,而不是Google 于 2023 年 7 月发布的端到端模型 RT-2。

我们知道,如果机器人要与人进行自然语言交互(比如,人说「把桌子上的苹果拿给主人」),可以大致分为以下两个步骤。

一是机器理解自然语言,并把自然语言转换成机器的抽象计划(所谓 high-level planning),这个抽象的计划可能是一系列的简单自然语言指令(比说「拿起苹果」、「把苹果移到人手上方」、「放开苹果」)。

二是把这个抽象计划转换成底层具体的操控(所谓 low-level 执行),既把简单的自然语言指令转换成一系列的具体动作(比如旋转、移动、抓取、放开等基本动作)。

简单来说,RT-1 仅是一个能听懂简单指令的机械臂,完成上面说的第二个步骤,模型中没有思维链,也不具备推理能力。PaLM-E 让机器人有了聪明的大脑,可以将复杂自然语言指令分解为简单指令,完成上面说的第一个步骤,然后再去调用 RT-1 执行动作。

所以,PaLM-E 所做的只是自然语言理解以及 Planning 部分的工作,并不涉及机器人动作本身,它是一个 VLM(Vision-Language Model)模型。

RT-2 则是把以上环节端到端地集成到了一起,它能够用复杂文本指令直接操控机械臂,中间不再需要将其转化成简单指令,通过自然语言就可得到最终的 Action,它是一个 VLA(Vision-Language-Action Model)模型。

国内创业者和投资人如何看待 Figure 01 机器人:距离具身智能还有多远?

1

端到端的好处,是通用、能自动适应环境的各种变化,但问题是决策速度慢,很难做到 Figure 这种 200hz 的决策速度,比如 RT-2 论文里提到的决策频率是 1 到 5hz,具体取决于语言模型的参数规模。

亮点:既能用到大语言模型的常识和 COT,又能达到人一般的操控速度

Figure 视频的亮点是它既利用了大语言模型的常识和思维链 COT的能力,又实现了快速的底层操控,几乎接近人的速度。

比如在视频中,当人说「我饿了」,Figure 思考了 2-3 秒后,小心翼翼地伸手抓住苹果,并迅速给人递过来。

因为 Figure 基于大语言模型的常识,明白苹果是它面前唯一可以「吃」的事物,在人类没有任何提示和说明的前提下,即可以接近于人类的反应速度,与人自然交互。

另外,也用上了大语言模型的长上下文的理解能力,比如「你能把它们放到那里吗」,谁是「它们」,「那里」是哪里?这些只有大语言模型才有能力精准抓取长上下文里的指代关系。

Figure 是否用到了 Sora?

肯定的是,Figure 与 Sora 一点关系都没有,因为 Sora 现阶段主要是生成,不是理解,就算未来 Sora 既能理解也能生成,是否能端到端做到 200hz 的决策速度也是一个很大的问题。

Figure 是否用到了远程操控?

有人觉得视频是远程操控(所谓 Teleop)录制的,但 Figure 创始人 Brett Adcock 强调了视频不是 Teleop,录制速度也是 1 倍原速度,所以视频中能看到回答问题的明显延迟(因为语音识别、大语言模型、TTS 是通过 pipeline 方式连起来的,都需要计算时间)。

Figure 是端到端模型吗?

Figure 创始人 Brett Adcock 上面这个 Post 提到是端到端的神经网络,个人觉得这可能是口误吧。

从他们技术负责人的 Twitter post 里可以看出,至少用了两个神经网络模型,一是 OpenAI 的 GPT4V(类似于 Google 的 PaLM-E);另外一个是机器人操控的模型(类似于 RT-1)。

所以 Figure 不是类似于 RT-2 的「端到端」模型,而是一个 pipeline 系统。

总结一下

我们可以理解为 Figure 的机器人模型是:GPT4V + 操控模型 ≈ Google 的 PaLM-E + RT-1

再次感叹,OpenAI 的「远见卓识」,在机器人与大模型结合的领域,又让隔壁的 Google 起了大早,赶了晚集。一如既往,OpenAI 超越 Google 的方式不是在技术原理,而是在于产品定义以及宣传方式。比如,与 RT-2 用一个机械臂演示不一样,他们用了一个真实的人形机器人来演示。

此外,他们通过展示机器人的操控速度和自然度来吸引观众的眼球。这些都比 Google 那种纯工程师演示的方式倍加有吸引力。

Figure 联合创始人兼首席执行官 Bred Adcock 表示,「我们的目标是训练一个世界模型,以操作十亿单位级别的仿人机器人。」这些机器人,可以消除对不安全和不理想工作的需求,最终让人类拥有更有意义的生活,这也与 OpenAI 的「超级对齐」愿景不谋而合。

计算机是虚拟世界的通用平台,机器人是物理世界的通用平台。

从特斯拉的 Optimus 到今天的 Figure,未来的模型能力和机器人硬件会如何平衡,从广告噱头到量产应用还有多远?人形机器人百家争鸣的春秋时代已拉开序幕。

李志飞,出门问问创始人兼CEO,美国约翰霍普金斯大学计算机系博士,自然语言处理及人工智能专家,前Google总部科学家,中国大模型创业者,持续探索AGI及商业化落地。

首次向公众呈现了当下具身智能创业的核心方向韩峰涛:千寻 SpiritAI CEO,已投入具身智能行业创业。

1、Figure 的宣传视频首次以通俗易懂的方式向公众展示了这一波具身智能创业机会的核心,即 AI 系统自主的以接近自然的方式释放机器人硬件的性能。

2、任务理解、拆分和自然语言对话属于现有 VLM 能力范围内,动作丝滑远超以往。

3、证明在单一任务内,VLM+具身动作规划模型+遥操微调+RL 路线可行度最高,以及微调数据质量高低对任务动作生成效果有直观影响。

4、精细操作、涉及力交互场景以及 LongHorizon 任务的效果待观察。

5、强 AI 大脑与好机器人身体执行缺一不可,目前国内这样的团队还是偏少。

单点技术的快速发展会带来今年机器人的「大突破」陈润泽:源码资本执行董事。

基本和我年初的预测一致,2024 年,我们会不断看到机器人领域有一些令人兴奋的进展出来,相信 Figure 的 demo 只是其中之一,而且肯定不是其中最具突破性的。

为什么有这个预测?因为机器人整个技术栈里的单点技术都在快速进展,它们排列组合一下就会有一些很具「视觉冲击力」的成果出来。

但是,有必要给看到 Figure 视频过于兴奋的人泼点冷水。先说结论:我没有在 Figure 的 demo 中看到非常新的技术能力,目前 demo 的性质更像是我们去年常说的 GPT-wrapper 的状态。换句话说,要达到这个 demo 的状态并没有很多 secrets。当然这里 wrapper 没有负面的意思,硬件产品需要很好的 wrapper。在这一点上,必须承认 Figure 做的还不错。

简单聊聊这个 demo 里的细节。

关于整体架构

国内创业者和投资人如何看待 Figure 01 机器人:距离具身智能还有多远?

2

Figure 的工程师 Corey Lynch 在 x 上公开了架构图,整个算法分为三层:

上层:OpenAI model。

这也就是我们常说的 High-level policy 部分,也被称为「大脑」,这部分负责处理语言和视觉输入,人机交互,并生成动作决策。这个决策的内涵就是「选择能执行目标动作的模型」。Lynch 的原话是:「deciding which learned, closed-loop behavior to run on the robot to fulfill a given command, loading particular neural network weights onto the GPU and executing a policy.」这句话其实暗含了一个信息,就是他们的 Low-level policy 包括多个模型,这些模型是通过 learning 的方式得到的,但这些子模型的封装程度/抽象程度没有披露(是比较细颗粒度的元动作库,还是比较粗粒度的任务库)。

中层:Neural Network Policies(NNP)。

这就是 Low-level policy 部分。Lynch 强调了:「All policies are learned, (not teleoperated)」。这个很关键,所有的动作都是用 learning 的方式来做的,但没有强调是什么 learning 方法。

下层:Whole body controller(WBC)。

这部分就是对应人的小脑。这部分公开的细节不多,猜测 NNP 输出的是全身 24 关节的角度控制信号和灵巧手的控制信号(200Hz),然后在下层会根据一些安全约束对 24DoF 的关节控制信号进行修正和插值(1000Hz)。当然,也不排除 NNP 这部分只 focus 在 manipulation 相关的控制。可以看下面这段视频,在手部动作时,Figure 01 的全身动作是比较协调的(比如在放杯子时,做出了轻微的下蹲动作);当然这个在此前 Figure 发的煮咖啡视频中,已经看到了这个能力。

关于 OpenAI、大模型和机器人的结合

在 High-level Policy 这一层,demo 目前展现出来的感知理解能力、推理能力、对话能力等其实都是多模态大模型能力的直接体现,只是经过「具身化」之后给人比较强的感官冲击。早在去年 PaLM-E(Corey Lynch 也是 PaLM-E 工作的参与者之一)的时候,这些能力就已经初步展现出来,只是 GPT-4/GPT-4V 的感知理解和推理能力又往前进了一步。

PaLM-E 当时接的下层控制 RT-1 也一个 transformer-based policy model,采用了 learning from demonstration 的方法,只是 Figure 01 用了更复杂的灵巧手,其控制要更复杂精巧,但不一定有方法论层面的本质突破。

比较有意思的是 High-level policy 和 NNP 这层的接口是怎么做的,在 demo 的复杂度上,这些接口都是可以「手搓」的(LLM 本身就提供了一些灵活性),但要真正希望把 LLM 的泛化能力充分发挥出来,这层接口怎么做,我猜测并不简单。不过,最近跟圈内朋友交流下来,应该已经在部分任务上可以实现了,在更广泛的操作任务上实现,也不是完全不可能的事情了。

文章转载自作者公众号「工具与意志」。

长期关注能找到具身智能 Scaling Law 的团队崔轲迪:BV百度风投 高级投资经理。

Figure 的展示非常丝滑,能看出来在模仿学习和遥操作的技术积累是比较久了。

我们后面会长期关注哪些团队可以找到具身智能操作层面的 Scaling Law。在基础模型和 Scaling Law 的支持下,当未来数据量达到一定阈值时,我们期待看到遥操作这样酷炫的机器人可以更为通用。

基座大模型+负责操作的神经网络会成为通用机器人的关键范式曹巍:蓝驰创投合伙人。

Figure 01 此次呈现的亮点颇为丰富:

首先,产品的整体质感与工程设计表现出色,外观精致,有独特的设计语言。同时,人机交互的音色经过调优,沟通体验更加和谐。

再者,机器人依托于底层强大的模型,对场景和任务的理解与推理能力表现卓越,加之其流畅的全身控制,使得操作响应迅速且精准。尽管本次展示未能涵盖机器人的移动能力和执行复杂任务的能力,但这并不减损其整体的卓越表现。

可以预见,结合视觉推理、语言理解和任务编排等功能的基座大模型,与负责提升机器人操作敏捷性的神经网络系统,将成为未来通用机器人的关键架构范式。在未来 5 至 10 年内,人形机器人技术将迎来其发展的黄金时期。我们相信国内的机器人研发团队将很快推出更多令人瞩目的产品。

基于这轮从底层架构上的创新,蓝驰从 21 年起就开始了布局具身机器人相关的创新项目,目前已经投资了智元机器人、银河通用机器人、万勋科技等一系列具身智能本体团队,同时在底层大模型领域也投资了月之暗面、西湖心辰。具身机器人领域的创新刚刚起步,蓝驰未来还会在仿真训练平台、关键传感器、机器人核心模组等方面持续寻找优秀创业团队。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-17 20:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

半年冒出近百家新公司,「具身智能」也有春天 | 36氪新风向
...,一家具身机器人公司CEO告诉《智能涌现》,近来找他的投资人都大排队。一位通用机器人公司的联创调研了一圈市场后惊讶发现——最近半年时间,国内冒出了小一百家机器人公司,甚至很多
2024-06-13 13:50:00
谈谈“机器人创业”圈子里的鄙视链丨焦点分析
...器人 “现在搞硬件的公司,就是视频拍摄公司!”多位投资人、行业人士向智能涌现表示。今年以来,许多机器人厂商在demo里展示的场景足够酷炫:比如机器人可以在汽车工厂搬东西,帮忙
2024-11-27 07:24:00
创业名师进校园!助力湖南打造青年创新创业高地
...长沙举行。此次,湖南精心遴选了百名企业家、科学家、投资人等,组成了创业导师天团,他们将分享各自丰富的经验,为青年们创业点亮明灯,让学生少走弯路。活动现场,三一集团董事长向文波
2025-03-21 10:02:00
...都早于A轮。关于原生AI应用是否会是大模型的有效对抗,投资人仍有颇多争议。更多形成共识的是,那些掌握垂直领域数据、场景以及积累了很多客户资源的企业服务公司将独具优势。而对后者
2023-11-27 15:12:00
AI如何变革机器人?|甲子引力
...尤其是雷总,可以谈一谈三年前你们公司在融资的时候,投资人问的是什么问题,今年再来聊的时候,他关注的是什么问题?焦儒:我认为资本具有周期性,随着行业的发展,投资者的关注点也会有
2023-12-11 16:26:00
对话千寻智能高阳:科学家创业不太“靠谱”,但创业就像一场游戏
...去弥补”。 高阳将创业比喻为“一种游戏”,而那些与投资人、客户的交流,都是游戏里升级打怪的过程。他见过上百位投资人,开始的时候由于技术讲解得太晦涩,“把人讲睡着了”,但高阳
2025-08-09 08:22:00
AI应用超级风口出现,华为、英伟达都入局了
...清华SeeFund基金,以及中国互联网投资基金等海内外知名投资人、科研机构、产业战略投资人都参与其中,并少见的集齐了北、上、深、港四地的政府投资平台。资料显示,银河通用是由斯
2024-11-27 16:48:00
中国AI下一条“小龙”在哪里?总台《赢在AI+》重磅开播
...院副教授、知名学者蒋昌建等院士专家、行业领袖、知名投资人组成“AI智库团”,为创业者提供专业指导。由20多家投资机构代表、全国各地的AI爱好者组成的观众团,也将共同踏上“寻龙
2025-05-02 11:05:00
90 后华人 CMU 校友回国创业,自研具身智能机器人
...了降本量产的优势:硬件技术创新、成本控制是当前国内投资人形机器人赛道的核心逻辑,中国拥有成熟的制造业产业链,中国制造是降低成本的主要方式之一。人形机器人无疑成为了国内近两年热
2024-03-12 23:00:00
更多关于科技的资讯:
健康之旅,“媒”好同行!爱康集团烟威区域媒体开放日圆满结束
为构建与公众的沟通桥梁,让烟威人民更好地了解爱康的医疗品质及优质体检服务,9月25日下午爱康集团烟威区域媒体开放日活动于爱康莱山区分院成功举办
2025-10-01 20:51:00
人工智能不仅能分析人脸情绪,还能读取脑电波信号,为人定制香氛;恐龙变为AI数字虚拟形象,成为人们的“萌宠”——这不是科幻电影
2025-09-30 08:09:00
从线上学习到山水修行:简知文旅×简橙教育共同打造银发文旅的深度与温度
近日,长江三峡见证了一场别开生面的银发游学盛事。"三峡简橙号·年度盛典"游学项目在历时七天的精彩行程后圆满落下帷幕。该项目由简知科技旗下两大知名品牌"简知文旅"与"简橙教育"联合策划执行
2025-09-30 08:17:00
聊城智汇 链接全球丨锚定国际市场,力得汽车科技加速布局海外
齐鲁晚报·齐鲁壹点 国晓宁 崔宇晴走进山东力得汽车科技股份有限公司的生产车间,机器轰鸣声不绝于耳,一条条先进的生产线正有序运转
2025-09-30 09:20:00
国庆黄金周变身“家电焕新周”,三联家电门店人气爆棚
随着国庆与中秋双节同庆的长假来临,消费市场迎来了一年之中最炙手可热的“黄金销售季”。与以往不同的是,这个假期在旅游、探亲等传统主题之外
2025-09-30 09:22:00
壹点观察 | 蔚来城商业广场十一开业,德州商业格局再迎新变化
在商业竞争日益激烈的今天,一座全新的商业综合体——蔚来城商业广场,即将于十一正式开门迎客。它的到来,为德州商业市场增添了新的变化
2025-09-30 09:24:00
鲁网9月29日讯(记者 杨勇)秋分时节,聊城市莘县升鑫金属制品有限公司的生产车间内,员工工作紧张有序,各种机器设备高效运转
2025-09-30 10:04:00
Aritco与Dezeen联合举办设计论坛 共探\
苏州2024年9月16日 -- 近日,瑞典家用电梯品牌Aritco瑞特科与全球知名设计媒体Dezeen设志在苏州联合举办了一场主题为"摒弃风格
2025-09-30 10:18:00
小微企业在传统银行承兑汇票(简称“银承”)业务办理中常常面临诸多难题。企业需要多次往返银行网点,提交大量纸质材料,流程烦琐
2025-09-30 10:45:00
中国数据研究中心:中之杰荣膺月饼行业智造先锋奖榜首
9月28日,中国数据研究中心正式发布《2025中国月饼行业白皮书》及“2025中国月饼行业智造先锋奖”十强品牌榜单,吉林中之杰食品科技发展有限公司凭借其位于长春的智能新厂
2025-09-30 11:15:00
鲁网9月30日讯近日,省科技厅公布了2025年度科技型中小企业创新能力提升工程(先投后股类)项目名单,全市共4家企业入选
2025-09-30 11:16:00
浪潮海晏荣获2025年“数据要素×”大赛山东分赛决赛三等奖
近日,由国家数据局、山东省人民政府联合指导,山东省大数据局等21家单位联合主办的2025年“数据要素×”大赛山东分赛决赛获奖名单正式公布
2025-09-30 11:21:00
据人民日报报道,近期国家网信办指导多地网信部门,对微博、快手、小红书、今日头条等多家平台进行约谈,责令限期整改热搜热榜存在的问题
2025-09-30 12:33:00
朱琳:品牌要让Z世代体验“设计师”般的快感
齐鲁晚报·齐鲁壹点 记者 牟静萍 实习生 葛同同 当下,Z世代正在以其独特的消费观念、多元的兴趣取向和对精神体验的重视
2025-09-30 12:46:00
大皖新闻讯 算力作为数字经济时代的核心生产力,已成为城市竞争的关键赛道。“十四五”期间,芜湖紧抓“东数西算”国家战略机遇
2025-09-30 13:57:00