01 长视野人形机器人运动操控长视野运动操控使人形机器人超越自我视角所能展示的范围。为了在房间内行动，它需要一个内部空间模型，将可见物体与记忆中的位置连接，并帮助解决模糊请求。这一背景指导它的去向、行为对象及走动和操控的顺序。HomeBody将这种空间记忆与可组合的技能相结合，其执行反馈使VLM在动作或过渡失败时调整接下来的决定。更多信息即将到来！1 / 2 收拾厨房清理所有咖啡袋并将其放在中间，扔掉所有过期的牛奶和橙汁纸箱。在厨房清洁的过程中，需要决定保留什么，扔掉什么以及如何将每个物体移动到正确的位置。HomeBody在岛台上收集咖啡袋并丢弃指定的纸箱，协调在房间内的多次往返、抓取和放置。它的视角随着每次移动而改变，因此记忆和行为反馈帮助它跟踪已完成的工作和仍需注意的事项。取药我忘记拿药了，你能帮我拿来吗？顺便把坏掉的纸箱扔掉。药物最初超出视野。HomeBody使用存储的关键帧定位抽屉，取出药物，递给人，然后丢掉纸箱。在房间内，它用右手抓住抽屉把手并打开抽屉，然后用左手丢掉纸箱。在两者之间进行选择使它能够访问身体两侧的目标。02 如何部署第 1 步。探索首先，我们给人形机器人上下文，让它探索一个未被看到的环境。HomeBody 收集了 0.5× iPhone 视频、D435i 相机观察、使用 SLAM 的 LiDAR 扫描、关节姿势和由Astra选择的航点。探索从人形机器人的视角捕捉房间，将其空间背景扎根于它在移动和与空间交互时能看到的东西。HomeBody在物体离开自我视角时保留该上下文。探索指令你是一个厨房机器人，请探索这个空间！HomeBody 引导厨房的探索，选择有用的视角并为后续任务保存观察。第 2 步。Real2Sim HomeBody使用Astra作为其Real2Sim代理，从人形机器人收集的数据构建Isaac Sim中的数字双胞胎。这使得它的观察在世界的空间模型中得到扎根，帮助高层VLM推理超出自我视角的地点。查看准确的Real2Sim重建所需的内容以及重建的比较。 从探索到数字双胞胎将HomeBody的Real2Sim代理建立在其自身探索的数据上，包括SLAM几何形状、自我视角、关节状态和航点，有助于它构建几何、语义和视觉上准确的数字双胞胎，以便在部署时进行推理。第 3 步。给你的人形机器人一个日常任务给机器人一个指令，比如“收拾厨房”。HomeBody利用其空间背景选择行为和目标，而无需行动级脚本。发送以下指令重新播放数字双胞胎中的清理示例。重建的厨房示例推出单击房间或发送以在3D中探索HomeBody 指令收拾厨房。将咖啡袋放在岛上并扔掉变质的纸箱。03 我们的实现可扩展技能库观看人形机器人导航、抓取、放置和打开抽屉。探索技能关闭库导航、抓取、放置和抽屉打开构成HomeBody的动作词汇。技能共享目标和执行结果的接口，所以VLM能够在部署时将它们组合起来。局部重试和视觉反馈修正执行错误。技能 01 真实机器人·1.25×抓取根据自我图像中选择的物体抓取并提升该物体。技能 02 真实机器人·1.25×放置将握住的物体移动到所选的3D释放点。技能 03 真实机器人·1.25× · 重试打开抽屉与把手进行视觉对齐、钩住它并向后走以打开抽屉。技能 04 真实机器人·14× → 4×从抽屉中取出在打开的抽屉中伸手并将所选物体提起。技能 05 真实机器人·1.25×导航沿着规划的路线在Real2Sim地图中到达一个位置。添加您自己的技能通过共享接口连接已学习的策略、经典算法或其他控制器。HomeBody的VLM可以将其与现有技能链在一起以执行新任务。大多数技能预览加速到大约7-10秒。抽屉打开和抓取包括记录的重试。抽屉抓取的预览开始于抽屉打开并保持重试连续，在最终成功抓取时减慢速度。我们的架构常见问题准确的Real2Sim重建需要什么？人类记录的视频提供了丰富的视觉细节，以便将重建与房间的外观对齐。HomeBody还需要准确的几何形状以便在房间内导航、定位人形机器人和到达物体。