斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

斯坦福的ALOHA家务机器人团队,发布了最新研究成果——

项目名为Yell At Your Robot(简称YAY),有了它,机器人的“翻车”动作,只要喊句话就能纠正了!

而且机器人可以随着人类的喊话动态提升动作水平、即时调整策略,并根据反馈持续自我改进

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

比如在这个场景中,机器人没能完成系统设定的“把海绵放入袋子”的任务。

这时研究者直接朝它喊话,“用海绵把袋子撑得再开一些”,之后就一下子成功了。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

而且,这些纠正的指令还会被系统记录下来,成为训练数据,用于进一步提高机器人的后续表现。

有网友看了说,既然已经能朝着机器人喊话了,那汽车是不是也快点安排上,还在线点名特斯拉和其自动驾驶软件总监Ashok Elluswamy。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

成果发布后,前谷歌机器人高级研究员Eric Jang,前DeepMind研究员、斯坦福客座教授Karol Hausman等一众大佬也纷纷表示了肯定和赞许。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

那么,用喊话调整的机器人,都能实现什么样的动作呢?

喊话就能发号施令

利用YAY技术调教后,机器人以更高的成功率挑战了物品装袋、水果混合和洗盘子这三项复杂任务。

这三种任务的特点是都需要两只手分别完成不同的动作,其中一只手要稳定地拿住容器并根据需要调整姿态,另一只手则需要准确定位目标位置并完成指令,而且过程中还涉及海绵这种软性物体,拿捏的力度也是一门学问。

以打包装袋这个任务为例,机器人在全自主执行的过程中会遇到各种各样的困难,但通过喊话就能见招拆招。

只见机器人在将装袋的过程中不小心把海绵掉落了下来,然后便无法再次捡起。

这时,开发者直接朝它喊话,口令就是简单的“往我这边挪一挪,然后往左”。

当按照指令做出动作后,第一次还是没成功,但机器人记住了“往左”这个指令,再次左移之后便成功把海绵捡起来了。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

但紧接着就出现了新的困难——袋子的口被卡住了。

这时只要告诉它再把袋子打开一点点,机器人就“心领神会”,调整出了一系列后续动作,并最终成功完成任务。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

而且不只是能纠正错误,任务的细节也能通过喊话实时调整,比如在装糖的任务中,开发者觉得机器人拿的糖有点多了,只要喊出“少一点”,机器人就会将一部分糖果倒回盒子。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

进一步地,人类发出的这些指令还会被系统记录并用作微调,以提高机器人的后续表现。

比如在刷盘子这项任务中,经过微调之后的机器人清洁力度更强,范围也变大了。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

统计数据表明,机器人在经历这种微调之后,平均任务成功率提高了20%,如果继续加入喊话指令还能继续提高。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

而且这样的指令-微调过程可以迭代进行,每迭代一次机器人的表现都能有所提升。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

那么,YAY具体是如何实现的呢?

人类教诲“铭记在心”

架构上,整个YAY系统主要由高级策略低级策略这两个部分组成。

其中高级策略负责生成指导低级策略的语言指令,低级策略则用于执行具体动作。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

具体来说,高级策略将摄像头捕捉到的视觉信息编码,与相关知识结合,然后由Transformer生成包含当前动作描述、未来动作预测等内容的指令。

而低级策略接收到语言指令后,会解析这些指令中的关键词,并映射到机器人关节的目标位置或运动轨迹。

同时,YAY系统引入了实时的语言纠正机制,人类的口头命令优先级最高——经识别后,直接传递给低级策略用于执行。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

且在这个过程中命令会被系统记录并用于微调高级策略——通过学习人类提供的纠正性反馈,逐渐减少对即时口头纠正的依赖,从而提高长期任务的自主成功率。

在完成基础训练并已经在真实环境中部署后,系统仍然可以继续收集指令信息,不断地从反馈中学习并进行自我改进。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

作者简介

本项目的第一作者斯坦福大学的学生研究员Lucy X. Shi,2019年毕业于人大附中后进入南加州大学就读计算机科学专业。

其间,Lucy曾到英伟达实习研究多模态大模型,并曾与知名AI学者Jim Fan博士合作。

她的论文曾连续两年被机器人顶会CoRL收录,还入选过NeurIPS,本人还被DeepMind邀请发表过演讲。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

Lucy的导师Chelsea Finn是斯坦福计算机科学和电气工程系助理教授,谷歌学术论文引用数超4.7万,此前还在Google Brain工作过一段时间。

包括本项目在内,在ALOHA团队发表的一系列论文当中,Finn总是作为通讯作者出现。

此外,ALOHA团队的Tony Z. Zhao、Sergey Levine等研究人员,也是本文的共同作者。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

论文地址:
https://arxiv.org/abs/2403.12910

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年4月18日 下午1:01
下一篇 2024年4月18日 下午1:13

相关推荐

  • 二维码建筑工程管理系统

    二维码建筑工程管理系统 随着数字化时代的到来,建筑行业也越来越倾向于采用数字化的方式来管理建筑工程。二维码建筑工程管理系统是一种基于二维码技术的软件系统,可以帮助建筑行业管理人员更…

    科研百科 2025年1月3日
    0
  • 集中力量实施什么重大科研项目集中力量实施什么重大科研项目

    集中力量实施重大科研项目,是推动科技进步和社会发展的重要力量。在当前全球科技发展的背景下,各国都在集中力量实施重大科研项目,以提升自身科技实力和国际竞争力。 这些项目涵盖了多个领域…

    科研百科 2024年9月9日
    34
  • 市政工程质量控制及施工质量通病防治技术汇总(市政工程质量通病及防治方案)

    市政工程施工常见质量通病防治措施为提高市政工程施工质量水平,克服市政工程施工中常见质量通病,根据国家现行法律、法规、工程技术标准,总结实际工作经验,借鉴其他项目施工做法,提出如下防…

    科研百科 2022年7月7日
    248
  • 高校科研项目有关规定

    高校科研项目有关规定 随着科技的不断发展,高校科研项目已成为学术界的重要力量。在参与科研项目的过程中,高校学生和教师必须遵守有关规定,以确保项目的质量,并保护个人权益。本文将介绍一…

    科研百科 2天前
    0
  • 业务 管理(业务管理软件有哪些)

    业务管理软件是用于协助企业进行业务管理的软件。它们可以帮助企业提高效率,减少错误,并提高客户满意度。以下是一些常见的业务管理软件: 1. Microsoft Dynamics 36…

    科研百科 2024年6月2日
    95
  • 哪些会议管理系统好

    会议管理系统是一种用于管理会议、活动和培训的软件系统,能够帮助组织更有效地组织和协调活动,提高员工的工作效率和会议的质量。随着组织规模的增大和员工数量的增加,会议管理的需求也越来越…

    科研百科 2024年8月26日
    45
  • 剑桥官方科研项目是什么

    剑桥官方科研项目: 探索人类意识的本质 近年来,关于人类意识的研究一直备受关注。科学家们一直在探索人类意识的本质,试图找到答案关于我们是如何感知和思考的,以及我们意识的来源和目的。…

    科研百科 2025年4月1日
    0
  • 绘制横道图的软件

    绘制横道图的软件 横道图是一种常用的图表类型,用于展示数据或信息。它是一种简单的图形,由两条平行的直线组成,通常用于表示时间或数量的变化。 现在,有许多软件可用于绘制横道图。其中,…

    科研百科 2024年11月18日
    1
  • 科研项目管理问题

    科研项目管理问题 科研项目管理是现代科学发展过程中至关重要的一部分,它关系到科研项目的进度、质量、成果和效益等方面。然而,科研项目管理过程中仍然存在许多问题,这些问题可能会对科研项…

    科研百科 2024年9月11日
    34
  • 农发行吉安市分行制定信贷管理系统业务连续性应急处置工作流程

    针对目前疫情多点散发的情况,农发行吉安市分行根据总行系统应急管理方案和省分行应急管理工作流程制定了本行信贷管理系统业务连续性应急处置工作流程。同时,成立应急指挥小组、业务支持小组、…

    科研百科 2022年6月28日
    336