斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

斯坦福的ALOHA家务机器人团队,发布了最新研究成果——

项目名为Yell At Your Robot(简称YAY),有了它,机器人的“翻车”动作,只要喊句话就能纠正了!

而且机器人可以随着人类的喊话动态提升动作水平、即时调整策略,并根据反馈持续自我改进

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

比如在这个场景中,机器人没能完成系统设定的“把海绵放入袋子”的任务。

这时研究者直接朝它喊话,“用海绵把袋子撑得再开一些”,之后就一下子成功了。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

而且,这些纠正的指令还会被系统记录下来,成为训练数据,用于进一步提高机器人的后续表现。

有网友看了说,既然已经能朝着机器人喊话了,那汽车是不是也快点安排上,还在线点名特斯拉和其自动驾驶软件总监Ashok Elluswamy。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

成果发布后,前谷歌机器人高级研究员Eric Jang,前DeepMind研究员、斯坦福客座教授Karol Hausman等一众大佬也纷纷表示了肯定和赞许。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

那么,用喊话调整的机器人,都能实现什么样的动作呢?

喊话就能发号施令

利用YAY技术调教后,机器人以更高的成功率挑战了物品装袋、水果混合和洗盘子这三项复杂任务。

这三种任务的特点是都需要两只手分别完成不同的动作,其中一只手要稳定地拿住容器并根据需要调整姿态,另一只手则需要准确定位目标位置并完成指令,而且过程中还涉及海绵这种软性物体,拿捏的力度也是一门学问。

以打包装袋这个任务为例,机器人在全自主执行的过程中会遇到各种各样的困难,但通过喊话就能见招拆招。

只见机器人在将装袋的过程中不小心把海绵掉落了下来,然后便无法再次捡起。

这时,开发者直接朝它喊话,口令就是简单的“往我这边挪一挪,然后往左”。

当按照指令做出动作后,第一次还是没成功,但机器人记住了“往左”这个指令,再次左移之后便成功把海绵捡起来了。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

但紧接着就出现了新的困难——袋子的口被卡住了。

这时只要告诉它再把袋子打开一点点,机器人就“心领神会”,调整出了一系列后续动作,并最终成功完成任务。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

而且不只是能纠正错误,任务的细节也能通过喊话实时调整,比如在装糖的任务中,开发者觉得机器人拿的糖有点多了,只要喊出“少一点”,机器人就会将一部分糖果倒回盒子。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

进一步地,人类发出的这些指令还会被系统记录并用作微调,以提高机器人的后续表现。

比如在刷盘子这项任务中,经过微调之后的机器人清洁力度更强,范围也变大了。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

统计数据表明,机器人在经历这种微调之后,平均任务成功率提高了20%,如果继续加入喊话指令还能继续提高。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

而且这样的指令-微调过程可以迭代进行,每迭代一次机器人的表现都能有所提升。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

那么,YAY具体是如何实现的呢?

人类教诲“铭记在心”

架构上,整个YAY系统主要由高级策略低级策略这两个部分组成。

其中高级策略负责生成指导低级策略的语言指令,低级策略则用于执行具体动作。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

具体来说,高级策略将摄像头捕捉到的视觉信息编码,与相关知识结合,然后由Transformer生成包含当前动作描述、未来动作预测等内容的指令。

而低级策略接收到语言指令后,会解析这些指令中的关键词,并映射到机器人关节的目标位置或运动轨迹。

同时,YAY系统引入了实时的语言纠正机制,人类的口头命令优先级最高——经识别后,直接传递给低级策略用于执行。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

且在这个过程中命令会被系统记录并用于微调高级策略——通过学习人类提供的纠正性反馈,逐渐减少对即时口头纠正的依赖,从而提高长期任务的自主成功率。

在完成基础训练并已经在真实环境中部署后,系统仍然可以继续收集指令信息,不断地从反馈中学习并进行自我改进。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

作者简介

本项目的第一作者斯坦福大学的学生研究员Lucy X. Shi,2019年毕业于人大附中后进入南加州大学就读计算机科学专业。

其间,Lucy曾到英伟达实习研究多模态大模型,并曾与知名AI学者Jim Fan博士合作。

她的论文曾连续两年被机器人顶会CoRL收录,还入选过NeurIPS,本人还被DeepMind邀请发表过演讲。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

Lucy的导师Chelsea Finn是斯坦福计算机科学和电气工程系助理教授,谷歌学术论文引用数超4.7万,此前还在Google Brain工作过一段时间。

包括本项目在内,在ALOHA团队发表的一系列论文当中,Finn总是作为通讯作者出现。

此外,ALOHA团队的Tony Z. Zhao、Sergey Levine等研究人员,也是本文的共同作者。

斯坦福团队新作:喊话就能指导机器人,任务成功率暴增(斯坦福机器人介绍)

论文地址:
https://arxiv.org/abs/2403.12910

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年4月18日 下午1:01
下一篇 2024年4月18日 下午1:13

相关推荐

  • 我国独有的科技成果

    我国独有的科技成果 近年来,我国在科技领域取得了许多惊人的成就,其中一些成果甚至是独一无二的。在我国,有一些科技成果是由我国特有的,它们代表了我国在科技领域的前沿水平。 其中,最引…

    科研百科 2024年10月16日
    0
  • 晋能控股集团:同心抗疫 共克时艰(晋能控股集团打造)

    目前,疫情防控形势严峻,晋能控股集团紧抓疫情防控工作,压实安全生产责任,切实做到疫情防控与安全生产“两手抓”“两不误”,集团公司各单位从严从细落实疫情防控各项举措,全力以赴织密疫情…

    科研百科 2023年8月22日
    211
  • 科研项目有哪些奖

    科研项目有哪些奖 科研项目是一项非常重要的活动,它推动了科学技术的发展,为人类带来了许多便利。为了激励和表彰在科研项目中取得杰出成就的人和组织,许多奖项应运而生。以下是一些著名的科…

    科研百科 4天前
    1
  • 科研项目 合同 科研项目合同签了可以作废重签吗

    科研项目合同签了可以作废重签吗? 科研项目合同是项目管理的重要文件,明确双方的权利和义务。如果合同签订了,但没有履行完毕,可以作废重签。但是,在重签之前,需要仔细考虑合同的内容,确…

    科研百科 2024年7月29日
    68
  • 重庆市科技计划项目管理系统

    重庆市科技计划项目管理系统 随着科技的不断发展,重庆市政府为了提高科技创新能力,推出了一系列支持科技创新的政策。其中,重庆市科技计划项目管理系统是重庆市政府为了规范科技计划项目的管…

    科研百科 2024年8月15日
    52
  • 一品威客:汽车大全APP开发全解析(汽车大全app下载)

      欢迎来到这篇关于汽车大全APP开发的全面解析。在现代社会,汽车已经成为人们生活不可或缺的一部分,而汽车大全APP的开发为车主和汽车爱好者提供了更便捷的汽车信息查询和互动平台。本…

    科研百科 2024年5月6日
    102
  • 查获盗版《热辣滚烫》等80余万部!公安部通报!(热辣滚烫是什么歌)

    据公安部网站消息,2023年以来,全国公安机关深入推进“昆仑2023”等专项行动,始终保持对各类侵权假冒犯罪的高压严打态势,去年共立案侦办侵犯知识产权和制售伪劣商品犯罪案件4万余起…

    科研百科 2024年5月2日
    90
  • 科研项目外包回扣

    科研项目外包回扣 随着科技的不断发展,科研项目外包已经成为一种越来越普遍的现象。在外包项目的背后,往往存在着回扣的问题。那么,科研项目外包回扣是什么?它为什么存在?本文将为您一一解…

    科研百科 2025年3月4日
    1
  • 心理咨询APP软件模式简单、方便,更好地满足用户的需求(心理咨询app商业模式)

    心理咨询APP软件模式简单、方便,更好地满足用户的需求。 互联网技术的迅猛发展给社会带来了更多的机遇,但也带来了一些挑战。特别是对于目前的智能手机用户来说,丰富多彩的网页内容已经成…

    科研百科 2022年9月25日
    714
  • 事业单位科研经费的会计处理

    事业单位科研经费的会计处理 随着科技的不断发展,事业单位科研经费的使用越来越广泛。作为财务部门,我们必须确保事业单位科研经费的会计处理正确,及时,准确,合规。本文将介绍事业单位科研…

    科研百科 2024年11月21日
    5