斯坦福 × Galaxea：开源家庭机器人
1. 家庭场景需要什么样的机器人？
要让机器人真正融入家庭并担任日常助理，并非易事。在实验室中，移动操作机器人或许能够精确地抓取物体或执行简单指令。但一旦进入真实的家庭环境，挑战便会急剧增加。诸如负重开门、整理不同高度的货架或清洁马桶等任务，都需要极其复杂的协调与控制能力。
最近，斯坦福大学李飞飞团队在全身移动操作领域取得了重大进展，让我们离能够应对日常生活复杂性的机器人更近了一步。
基于对现有机器人动作基准的分析，斯坦福团队确定了机器人成功执行家务任务所需的三项核心能力：
-
双臂协同操作：当搬运大件物品或处理衣物时，机器人的双臂必须同步工作，以稳妥地抓取、移动和放置物体。
-
稳定且精确的导航：机器人必须在无碰撞的情况下长距离移动并准确到达目标位置，从而确保在整个家庭中高效、安全地行动。
-
扩展的末端执行器可达性：家庭物品散布在不同的空间和高度。机器人必须灵活调整姿态，以便触及不同位置的物体，从而完成广泛的操作任务。
然而，虽然复杂的硬件配置——包括双臂、移动底盘和多自由度躯干——提供了执行这些任务所需的物理能力，但它们也使策略学习变得更加困难。如何高效地收集数据并有效训练能够协调全身运动的模型，已成为将这些机器人推向实际应用的主要瓶颈。
为了应对这些挑战，斯坦福大学李飞飞团队基于 Galaxea Dynamics 的机器人平台开发了 BEHAVIOR Robot Suite (BRS)。
该套件以 Galaxea 的 R1 全尺寸双臂人形机器人为核心，结合了用于同构数据收集的高性价比全身遥操作系统 JoyLo，以及全身视觉运动注意力策略 WB-VIMA。通过整合硬件和算法创新，BRS 提供了一种全身移动操作的新路径，助力机器人应对真实家庭环境中复杂的协调需求。
2. BRS (BEHAVIOR Robot Suite) 机器人套件
BRS 突破点 #1：JoyLo，一种用于机器人数据采集的低成本遥操作系统
数据采集是机器人学习的基础。然而，传统方法往往依赖昂贵的设备或复杂的操控方式，难以有效协调全身运动。
为了实现对高自由度移动操纵机器人的无缝控制，并简化下游策略学习的数据采集过程，斯坦福团队开发了 JoyLo (Joy-Con on Low-Cost Kinematic-Twin Arms)，这是一种高性价比的全身遥操作系统。利用 JoyLo，该团队演示了对 Galaxea Dynamics R1 机器人的全身控制，为采集用于学习复杂操控任务的机器人演示数据提供了一种更易于获取的途径。
BRS 硬件系统概览。 左：BRS 中使用的 Galaxea R1，这是一款带灵活躯干的轮式双臂操作机器人。右：JoyLo，一种专为通用性设计的低成本全身遥操作界面。
JoyLo 将任天堂 Switch Joy-Con 手柄与 3D 打印的双臂联动装置相结合，实现了对 Galaxea Dynamics R1 人形机器人的低成本全身控制。该系统支持控制 R1 的 3 自由度移动底盘、4 自由度躯干、14 自由度双臂以及末端执行器，使得复杂的机器人动作控制变得更加直观且易于上手。
其主要优势包括：
● 高效的全身控制
通过紧凑的手持控制器和双臂联动装置，操作员可以控制 R1 的移动底盘、躯干和双臂。直观的界面使得协调复杂的机器人姿态和动作几乎像玩主机游戏一样简单。
● 直观的交互反馈
丰富的触觉反馈（如手柄震动）可实时提供有关机器人运行状态的提示，包括成功抓取和碰撞警告，从而实现更灵敏的人机交互。
● 高质量的真实机器人数据
与基于 VR 的遥操作方法（包括使用 Apple Vision Pro 的方法）相比，JoyLo 的任务成功率高出 5 倍，平均任务完成时间缩短了 23%。它在复杂的长程任务中表现尤为出色。采集到的轨迹可以直接用于策略学习，无需繁琐的数据后处理。
● 低成本模块化设计
该系统由 3D 打印的双臂联动件、平价的 Dynamixel 电机和 Joy-Con 手柄组成，总成本低于 500 美元。其模块化设计也使得各个组件易于更换。
● 简单易用的实时控制器
BRS 包含一个基于 Python 的直观实时控制器，可将目标关节位置和速度转换为控制指令，并通过 ROS 发送给机器人，从而简化了全身遥操作的实现。
用于全身遥操作和数据采集的 JoyLo
BRS 突破点 #2：WB-VIMA，一种用于全身控制的层级框架
即使有了遥操作和数据采集的解决方案，如何让机器人自主规划协调的全身运动仍然是一项重大挑战。以往的方法通常以平坦、统一的表征来预测机器人全身的关节动作，忽略了不同身体部位之间的层级依赖关系。这可能导致累积误差——例如，移动底盘上的微小导航误差会导致机器人手臂完全偏离目标。
BRS 通过 WB-VIMA 解决了这一挑战，这是一个围绕两项关键创新构建的算法框架：
● 自回归全身动作去噪
WB-VIMA 利用机器人固有的运动学层级结构，以结构化、顺序的方式生成协调动作。它首先预测移动底盘的运动，然后根据生成的底盘状态确定躯干姿态，最后协调双臂的运动。这种层级处理过程使模型能够捕捉机器人全身的依赖关系，并生成更加连贯、协调的动作。
● 多模态观测注意力机制
WB-VIMA 将自我中心的 RGB 点云、机器人关节位置和移动底盘速度作为观测输入。每种模态都被编码为观测 Token，随后在当前和先前的时间步长中组合成视觉-运动序列。因果自注意力机制对该序列进行处理，使策略能够整合随时间变化的多模态信息，而不是过度依赖任何单一的输入源。
注：WB-VIMA 模型架构。 WB-VIMA 在空间域自回归地对全身动作进行去噪，并使用自注意力机制动态聚合多模态观测。通过利用机器人形态固有的层级依赖关系以及多模态感知输入提供的丰富信息，WB-VIMA 实现了高效的全身策略学习。
为了评估 WB-VIMA 的能力，斯坦福大学团队在五项现实生活中的家务任务上对 BRS 套件进行了测试：
● 倒垃圾：在室内拾起垃圾袋并将其运送到室外。
● 整理架子：将盒子从地板上移走，并精确地放置在不同高度的架子上。
● 折叠并整理衣物：从衣柜中取出一件外套并将其平铺在沙发床上。
● 清洁马桶：自动掀开马桶盖、擦拭表面并按下冲水按钮。
● 派对后清理：收集餐具并将其放入洗碗机中。
结果证明了 BRS 支持多样化家务任务的能力。在每一项任务中，WB-VIMA 的表现均优于所有基准方法，包括 DP3 和 RGBDP（一种基于 RGB 图像的扩散策略）。
在端到端、长视距任务成功率方面，WB-VIMA 的成功率达到了 DP3 的 13 倍，RGBDP 的 21 倍。其平均子任务成功率也分别比 DP3 和 RGBDP 高出 1.6 倍和 3.4 倍，彰显了其在协调复杂的、多步骤家务活动方面的有效性。
倒垃圾：机器人拾起客厅里的垃圾袋 → 移动到门口 → 打开门 → 移动到室外垃圾桶。
整理架子：机器人从储藏室地板上拾起一个盒子 → 移动到四层货架前 → 根据可用空间将盒子放置在合适的架子上。
整理衣物：机器人使用双臂从衣架上取下一件外套，并将其平铺在沙发床上。
清洁马桶：机器人调整躯干角度以掀开盖子、擦拭表面，并在一套流畅的动作序列中按下冲水按钮。
派对后清理：机器人遵循一系列步骤：打开洗碗机 → 清理桌上的餐具 → 将餐具装入洗碗机 → 关闭洗碗机门。
3. Galaxea：赋能与探索
斯坦福团队开发的整个 BRS 机器人套件均围绕 Galaxea Dynamics 的 R1 机器人构建。该研究论文、代码、硬件设计和数据集现已完全开源，诚邀全球开发者探索该项目，并在 项目网站 上了解更多信息。
Galaxea 还致力于为开发者提供端到端的支持，涵盖机器人开发工作流程的每个阶段。
● 数据收集
Galaxea 专有的 R1 Teleop（一种同构远程操作平台）能够实现高效的机器人数据收集，其性能可媲美 JoyLo 硬件。整个 Galaxea R1 人形机器人系列均支持与该同构远程操作平台集成，帮助开发者以经济高效的方式收集高质量的演示数据。
● 机器人算法验证
开源的 WB-VIMA 框架可与 Galaxea 的机器人平台和开发环境集成，使开发者能够更高效地验证算法，并显著缩短开发周期。
● 拓展应用
从家务任务和商业应用到工业环境，Galaxea 的高自由度通用人形机器人系列赋能开发者探索日益多样化的复杂移动操作任务。
无论您是在大学研究实验室工作还是在工业研发团队工作，Galaxea 都始终致力于提供硬件解决方案、数据支持和全面的开发工具链，帮助全球开发者克服全身机器人控制的挑战，并将具身智能带入日常生活。
0 条评论