• 我的订阅
  • 科技

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

类别:科技 发布时间:2024-01-06 20:00:00 来源:CSDN

整理 | 屠敏

出品 | CSDN(ID:CSDNnews)

过去几年间,随着 AI 的发展,一个属于机器人的万亿级赛道正在火热开启,无论是 Google 、特斯拉,还是国内的达闼、追觅、以及稚晖君创业的「智元机器人(AGIBot)」公司均投身其中。

不过,对于普通用户而言,机器人最为重要的并不是设计得多么好看,而是实用性。在当代年轻人的“精致懒”之吃饭要人弄、家务要人做状态下,如果有一款集做饭、收纳、保洁等多个才艺于一身的机器人,岂不美哉!

近日,斯坦福大学 3 位研究人员让许多用户的美梦成真了,其发布了一款名为 Mobile Aloha 的 AI 机器人。一经展示之后,这款机器人便迅速在网络上走红,成为不少人想人手一个的大热门产品。

只因为它,不仅可以煎大虾,亲自端上桌:

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

也能收拾不小心洒出来的水渍:

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

‍还能打开柜门,归纳整理:

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

刷碗:

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

简单来看,Mobile Aloha 是一种用于双手遥控操作的低成本开源硬件系统,解决了训练需要人类操作员仔细指导的移动双手机器人的高成本和技术挑战。

值得一提的是,Mobile Aloha 能实现以上操作,并非完全自主,其全身也支持远程操作。

得益于生成模型的成功,Mobile Aloha 可以快速从人类演示中学习,而且它可以只通过 50 次的演示就能学会一件事,合作训练可以提高成功率高达 90%。

同时,整个机器人机载电源和计算在内的成本为3.2 万美元,远远低于市场现有的系统及硬件。更让人兴奋的是,Mobile Aloha 的软硬件均是开源的,也方便所有的 AI 爱好者、开发者深入学习与共建。

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

左:用户通过遥控操作从冰箱中获取食物;右图:Mobile ALOHA 可以通过模仿学习完成复杂的长时间任务硬件代码:https://github.com/MarkFzp/mobile-aloha软件代码:https://github.com/MarkFzp/act-plus-plus项目地址:https://mobile-aloha.github.io/

研究 5 年,以低成本打破传统机器人系统的局限性

项目的负责人之一 Tony Z.Zhao 表示,“这个我过去 5 年里最努力的项目之一!”

而之所以会萌生开发这样一款会做饭的 AI 机器人,是因为该研究团队发现,大多数机器人操纵任务都侧重于桌面操纵。这包括最近基于 Transformer 和 Diffusion 模型(广泛应用于生成式人工智能的架构)建立的一系列模型。

然而,日常环境中的许多任务都需要全身协调的流动性和灵巧的操作。譬如,把一个罐子放进厨房的柜子里,那么,机器人需要首先导航到柜子边上,这就需要机器人底座可以移动;进而为了打开橱柜,机器人需要后退,同时牢牢抓住两个门把手,激发全身控制;随后双臂需要抓住锅柄,一起将锅放入橱柜,双手也要协调好。

在研究人员来看,过去有两个主要因素阻碍了模仿学习在双臂移动操作中的广泛应用:缺乏可访问的、即插即用的全身远程控制硬件。当然并不是说市面上没有这种硬件,而是如果购买现成的机械手,成本会很高。像 PR2 和 TIA GO 这样的机器人价格可能超过 20 万美元,这让很多研究实验室无法负担。此外,要在这些平台上实现远程控制操作,还需要额外的硬件和校准。以前的机器人学习工作没有表现出高性能的双臂移动操作复杂的任务。随着自由度的增加,手臂和基础动作之间的交互可能会变得复杂,基础姿势的微小偏差可能会导致手臂末端执行器姿势的大幅偏移。

在论文中,研究员表示,“立足于硬件和学习的角度,以前的工作还没有为双臂移动操作提供一个实用而有说服力的解决方案。”

现如今随着 AI 的发展,机器人到底可以不可以做到移动并实现协调全身去完成任务。研究人员研究了将模仿学习扩展到需要双臂移动机器人全身控制的任务可行性。

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

https://mobile-aloha.github.io/resources/mobile-aloha.pdf

Mobile ALOHA 的研发

在硬件维度,研究人员提出了 Mobile ALOHA,扩展了原始 ALOHA 的功能,这是一种低成本和全身远程控制系统,用于收集双臂移动操作数据。

在硬件设计时,研究人员主要从四个维度切入考虑:移动速度要快:与人类的行走速度相媲美,约为 1.42 米/秒。稳定性:在拿起沉重的家居物品时,如锅、吸尘器时,它是稳定的。支持全身远程控制:所有的自由度可以同时远程操作,包括双臂和移动底座。不受限制:板载电源和计算。

要想实现 Mobile ALOHA 的灵活性,研究员在它的下方安装了一个专为仓库设计的轮子底座——Tracer AGV,它可以承载 100kg,移动速度高达 1.6m/s,而成本只有 7000 美元。

为了使 Mobile ALOHA 不受限制,研究人员配备了一个 1.26 千瓦时的电池,重量在 14 公斤,这样还可以压住机器人,防止不平衡摔倒。此外,整个装置还包括网络摄像头和一个搭载消费级 GPU 的笔记本电脑,成本共计约为 3.2 万美元,比现成的双臂机器人便宜得多。

研究员在论文中介绍道,Mobile ALOHA 可同时遥控所有自由度。人类操作员的腰部被用物理的方式拴在系统上,并反向驱动车轮,在工作环境中驾驶系统,同时用控制器控制机器人手臂。同时,研究人员记录基本速度数据和手臂操纵数据,形成一个全身远程控制操作系统。

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

这样,机器人控制系统就能同时学习动作和其他控制指令。一旦收集到足够的信息,模型就能自主地重复一系列任务。

在模仿学习方面,Mobile ALOHA 利用了 Transformer(大型语言模型中使用的架构)。最初的 ALOHA 系统使用了一种名为 Action Chunking with Transformers (ACT) 的架构,它将来自多个视点和关节位置的图像作为输入并预测一系列动作。

MobileALOHA 将运动信号添加到输入向量中,从而扩展了该系统。这种方法可以让 Mobile ALOHA 重复使用以前的深度模仿学习算法,而只需做最小的改动。

在论文中,研究人员写道:“我们观察到,简单地将底座和手臂动作连接起来,然后通过直接模仿学习进行训练,就可以产生出色的表现。具体来说,我们将 ALOHA 的 14-DoF 关节位置与移动底座的线速度和角速度连接起来,形成 16 维动作向量。”

与此同时,研究人员汲取了近期业界在预训练和不同机器人数据集上取得的成功经验,并利用静态双臂数据集的信息,逐步提高模仿学习的性能。

在演示中,研究员展示了训练有素的机器人烹饪三道菜,并执行了一些精细的任务,例如打碎鸡蛋、切碎大蒜、倒液体、拆开蔬菜包装以及在煎锅中翻转鸡肉。

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

此外,Mobile ALOHA 还可以执行各种家务任务,包括给植物浇水、使用真空吸尘器、装卸洗碗机、从冰箱中取出饮料、操作洗衣机。

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元
炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

研究人员表示:“通过协同训练,我们只需对每项任务进行 50 次人类演示,就能在这些任务上取得超过 80% 的成功,与没有协同训练相比,平均绝对提高了 34%。”

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

Mobile ALOHA 背后的研究员

Mobile ALOHA 的到来,不仅打破了很多传统机器人的局限性,也让我们看到了这个年轻人团队为 AI 带来的无限潜力。

正如文章伊始所述,Mobile ALOHA 出自斯坦福大学 3 位研究人员之手,也是华人团队。

炒菜、做家务的开源机器人来了,斯坦福华人开发、Transformer 架构驱动、造价 3.2 万美元

Zipeng Fu(项目联合负责人)

Zipeng Fu,是斯坦福人工智能实验室计算机科学专业的博士生,导师是 Chelsea Finn。

同时,他还是 Google DeepMind 的学生研究员,与 Google Brain Robotics 机器人运动和安全团队的技术主管经理 Jie Tan一起工作。

此前,ZipengFu 在加州大学洛杉矶分校完成了计算机科学与应用数学学士学位,导师是 Song-Chun Zhu,后来在 CMU 攻读机器学习领域的硕士,并在机器人研究所担任学生研究员,导师是 Deepak Pathak 和 Jitendra Malik。

他的研究兴趣在于机器人学、机器学习和计算机视觉的交叉领域。重点关注机器人在非结构化开放世界中的强大性能和可部署机器人系统。

Tony Z. Zhao(项目联合负责人)

Tony Z. Zhao 是斯坦福大学计算机科学博士三年级学生,导师同是 Chelsea Finn。同时,他也是 Google Deepmind 的兼职学生研究员。

此前,Tony Z. Zhao 在特斯拉自动驾驶汽车公司和 Google X Intrinsic 实习。于 2021 年获得伯克利大学电子工程科学学士学位,导师是 Sergey Levine和 Dan Klein。

“我想让机器人能够执行复杂的精细操作任务。我对初创企业和自主机器人的未来感到兴奋”,Tony Z. Zhao 写道。

Chelsea Finn(顾问)

Chelsea Finn 是斯坦福大学计算机科学与电子工程系助理教授。她的实验室 IRIS 主攻研究大规模机器人交互智能,隶属于 SAIL 和 ML 小组。

除了教授职位之外,Chelsea Finn 在 Google 任职,是 Google Brain 团队的一员。

此前,Chelsea Finn 在加州大学伯克利分校获得了计算机科学博士学位,并在麻省理工学院获得了电子工程和计算机科学学士学位。

项目负责人现身发布翻车视频:并未做好接管世界的准备!

随着研究人员将这一项目对外公开,不少网友开始期待:「感觉我以后养老可以靠它了,现在开始攒钱,然后让机器人给我打工!」

不过,这样的幻想还没有持续多久,该项目负责人之一的 Tony Z.Zhao 紧急在 Twitter 上又发布一则视频,为 Mobile ALOHA 泼了一盆冷水。其表示,“机器人还没有准备好接管世界!我刚刚制作了一个视频,记录了在自主模式下犯下的最愚蠢的错误 Mobile ALOHA。我们还计划在休息后组织一些现场演示。敬请关注!”

已关注

关注

重播分享赞

关闭

观看更多

更多

正在加载

正在加载

退出全屏

视频加载失败,请刷新页面再试

刷新

视频详情

在视频中,Mobile ALOHA 在自主模式下,不仅手抖,将酒杯里的水洒出来了,还让它自由落体,变成了玻璃渣:

弄翻了锅,研究员都来不及挽救:

Tony Z.Zhao 对此说道,「老实说,这可能是迄今为止我最喜欢的视频,当它在你面前失败时就不那么有趣了」。同时,他还向 2015 年 DARPA 机器人挑战赛、波士顿机器人失败的案例致敬。

其实,Tony Z.Zhao 在 Mobile ALOHA 爆火一天后选择公布“幕后花絮”,实则也是希望更多的人保持理性,减少炒作。在 AI 快速发展背后,其实也依然存在很多的不足,我们应该正确对待 AI 的发展,也要勇于面对失败,毕竟失败是成功非常重要的一个过程。

参考:

https://twitter.com/tonyzzhao/status/1743378437174366715

https://twitter.com/tonyzzhao/status/1742603130104414647

https://mobile-aloha.github.io/resources/mobile-aloha.pdf

https://venturebeat.com/automation/stanfords-mobile-aloha-robot-learns-from-humans-to-cook-clean-do-laundry/

▶商汤要让人工智能走进千家万户!

▶小米终极辟谣:小米汽车正式发布前不会公布售价;微软市值或超苹果;Vim 9.1 发布 | 极客头条

▶独家:马化腾回应微信“偷窥”相册返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-01-06 21:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

研发者谈斯坦福家务机器人:泛化能力还不行,暂无商业计划
...浇花、拖地板、开瓶盖,甚至逗猫猫。当地时间1月4日,斯坦福大学人工智能实验室计算机科学专业的博士生符梓鹏在社交媒体平台X上向网友介绍了这款名为Mobile Aloha的机器人
2024-01-23 09:41:00
斯坦福爆火全能家务机器人大升级,网友直呼excitng
斯坦福爆火全能家务机器人大升级,发布二代版本ALOHA2!这一回,不光是做家务,连戴隐形眼镜都敢挑战了。还能小心翼翼拿走人类口袋里的钱包,从里面抽出几张钞票,再原封不动放回去。开
2024-02-10 21:07:00
全开源斯坦福Mobile ALOHA机器人,家务样样精通
移动底盘:松灵差速驱动底盘TRACER1月4日,斯坦福大学符博士领导的研究团队在社媒发布了一项突破性的新成果—机器人成功克隆人类行为和任务的能力。其双臂机器人通过模仿学习算法与静
2024-01-05 17:00:00
“眼里有活”的斯坦福机器人来一个?数十种家务全包 成本约3万美元
...用的家用机器人或许很快将会到来。大秀了一把厨艺后,斯坦福华人团队开发的机器人又在北京时间今日凌晨发布了新视频《Mobile ALOHA的一天》,展示了浇花、打扫房间、煮咖啡、
2024-01-07 11:00:00
斯坦福家务机器人,看似全能,实际靠遥控
作者|杨逍编辑|苏建勋近日,斯坦福华人团队的Mobile ALOHA“全能家务机器人”在网上爆火,它展示了做饭、铺床、浇花等多种家务技能,可谓是全复合“保姆人才”。它能够煮虾,可
2024-01-08 10:27:00
能做饭会收拾,斯坦福一团队仅用23万元就造出了“机器人保姆” | 钛媒体焦点
...在家复刻一台具备这些技能的机器人。开发出Mobile ALOHA的斯坦福三人组这个由斯坦福三人团队研发的通用机器人Mobile ALOHA
2024-01-05 21:00:00
从炒菜到缝针!斯坦福炒虾团队打造自主「AI达芬奇」,苦练神指当外科医生
【新智元导读】斯坦福炒虾机器人作者,又出新作了!通过模仿学习,达芬奇机器人学会了自己做「手术」——提起组织、拾取针头、缝合打结。最重要的是,以上动作全部都是它自主完成的。斯坦福炒
2024-08-01 09:36:00
会自主学习的“家务机器人”来了,华人主创称“它还比较蠢”
...习,直接克隆人类行为,这能让它学会任意技能。”这是斯坦福大学华人团队研发的“家务机器人”Mobile Aloha。除了煎虾仁以外,它还能够叠被、洗衣、浇花、使用吸尘器、上下电
2024-01-17 09:53:00
机器人又拿下一种家务:10小时学会煮咖啡,仅需观看人类演示视频
上周斯坦福炒虾机器人炸场之后,又火了一个煮咖啡机器人。它的厉害之处在于通过观看人类的示范视频,仅需10小时端到端训练,就能学会并完全自主搞定这一任务。当然,更准确地来说是操作咖啡
2024-01-08 13:55:00
更多关于科技的资讯:
专访复旦大学教授沈涵:打造“城市级剧本游”,发动“全民共创”
齐鲁晚报•齐鲁壹点 高雅洁 李潇10月22日,“数智文旅 媒动山海”城市文旅品牌建设交流会在青岛举行。复旦大学旅游学系教授
2025-10-22 20:32:00
10月21日小店政务发布信息,小店区审批局积极推进“开办便利店一件事”集成服务改革,通过流程再造、帮办代办服务、市场需求调研等
2025-10-22 18:56:00
10月22日从中北高新区获悉,该区企业山西天成半导体材料有限公司继今年成功研制12英寸导电型碳化硅单晶材料后,依托自主研发设备再度攻克12英寸高纯半绝缘碳化硅单晶材料技术难关
2025-10-22 18:56:00
亚太森博装备技术创新中心正式投入使用
随着日照市“亚太森博杯”浆纸产业链职工职业技能大赛的盛大启幕,公司装备技术创新中心同步正式启用。创新中心充分整合多方资源
2025-10-22 19:21:00
山东外国语职业技术大学教授入选“全球前2%顶尖科学家”榜单
近日,美国斯坦福大学联合爱思唯尔数据库(Elsevier Data Repository)发布了《全球前2%顶尖科学家榜单(World's Top 2% Scientists)》
2025-10-22 19:23:00
富士康储能项目量产,致力于打造全球首个“储能灯塔工厂”
大河网讯 预计年均省电超千万元,年产能将达到3GWh的规模……富士康旗下储能品牌“富储科能”近日在郑州航空港举行富士康储能量产暨新品发布会
2025-10-22 19:27:00
华为鸿蒙操作系统 6 正式发布!余承东评论区被“催产”mate80
华为鸿蒙6.0系统正式版于今日(10月22日)发布,Mate 80系列预计将首发搭载。鸿蒙6.0系统以更好看、更好用、更智能
2025-10-22 15:56:00
视源股份肖航:“中国制造”正成为传递创新、可靠与高品质的“新名片”
肖航接受人民日报海外网采访“通过建立深度本地化的运营与服务团队,我们的MAXHUB已成功在全球超过140个国家和地区提供服务
2025-10-22 14:05:00
中国消费名品全国行(河北站)“清河羊绒”供需对接活动举办供需双向奔赴 品牌加速出圈10月21日,中国消费名品全国行(河北站)“清河羊绒”供需对接活动在邢台市清河县举办
2025-10-22 08:10:00
雄安建设者拍雄安|你好,雄安图书馆!
9月26日拍摄的雄安图书馆。9月27日,雄安图书馆少儿阅览区,图书管理员带着小读者通过智能书架挑选图书。拍摄者:齐劲青 中建八局(北京)建设投资有限公司市场部业务经理拍摄时间
2025-10-22 08:19:00
五年千亿研发淬炼,小米携手粤港澳大湾区共筑“同心圆”
10月15日,以“同心湾区,论道未来”为主题的2025粤港澳大湾区人工智能技术发展论坛在珠海美高梅华府酒店隆重举行。本次论坛由珠海市委统一战线工作部指导
2025-10-22 08:30:00
鞍矿爆破“露天矿山智能爆破关键技术研究与应用”项目入选“中国好技术”项目库
近日,由中国生产力促进中心协会联合全国各级生产力促进中心、行业协会及专业机构共同发起的2024年度“中国好技术”评选正式落下帷幕
2025-10-22 08:30:00
厦门网讯(厦门日报记者 李晓平)机器人赛道正吸引越来越多厦企参与。20日,联合星辰(厦门)科技有限公司(以下简称“联合星辰”)
2025-10-22 08:57:00
从场景破题 大力推进福建省(厦门)人工智能产业园建设
厦门网讯(厦门日报记者 林露虹 通讯员 管轩 雷飏) 走进厦门软件园,你会发现“人工智能 +”的创新应用图景正徐徐展开
2025-10-22 08:57:00
《全国中老年艺术等级考评规范》团体标准深圳秘书处挂牌
日前,《全国中老年艺术等级考评规范》团体标准深圳秘书处在十方融海梨花教育办公区正式挂牌。当前,我国人口老龄化程度持续加深
2025-10-22 09:05:00