完成的设备在运行中：通过远程操作设置一个棋盘。可见不同的相机画面、人类操作员和感知的机器人状态；操作员可以在相机之间切换。机器人研究已经变得足够便宜和可及，以至于小团队甚至个人现在都可以在真正的硬件上进行有意义的研究。这主要有两个原因。首先，能够的机器人硬件变得极其实惠：以下的物理设备使用了一个工业级的手臂、两个相机及一个全功能的远程操作设置，总费用低于5,000欧元。1 1 此数字不包括增值税和计算成本。其次，现在有稳定供给的适用于机器人的公开基础模型。例如，Hugging Face的LeRobot就围绕着民主化尖端机器人研究的同一理念构建。我对此有一些历史。在2017年到2020年期间，我在OpenAI进行机器人操控研究，最初是在一个类人手上，然后是在一个桌子上。我在2019年/2020年使用的桌面设置大约比这里描述的贵一个数量级。尽管比较并不完美，但重要的变化在于，尽管价格点相同，这一版本的实用性已进入同一类别。从前，这类工作需要大约20人的团队。如果我的论点是正确的，那么今天在一个桌子旁边的单个人应该能够取得惊人的进展。因此，为了验证这个论点，我决定直接进行：接下来的几个月里，我将独立进行机器人操控研究，并将其公开。我不期待主要输出是论文或开源代码库。2 2 我目前并不打算开源这里描述的代码。维护一个开源项目是实际工作，我宁愿把那段时间用于研究。这可能会改变。我关心的是研究日志本身：什么有效，什么失败，以及我从运行系统中学到的东西。这篇笔记涵盖了一步：构建进行研究的完整基础。前半部分讲述物理设置：一个工业级的机器人手臂、两个相机和一个足够小的远程操作装置，可以放在我的桌旁。后半部分是我从零开始编写的软件堆栈以操作它。上面的视频展示了结果在实际中的表现。这是一个实验，计划可能会变化。但我很激动。要求根据过去的经验，我知道机器人研究应该在实际硬件上进行，因此第一步是构建一个我可以进行实验的设置。在购买任何东西之前，我写下了一些要求。这些要求适用于整个系统——物理设置和操作它的软件：低于10,000欧元，小到可以放在或放在我桌旁，零部件容易获得（没有企业销售），可以通过Python轻松使用，对软件堆栈没有明确要求（因为我想建立我自己的）。这个10,000欧元的限制并不是通过详细估算得出的。当时，我大多不知道最终系统的成本。这个数字作为上限是有用的：高得足以让我不必为每个组件优化价格，但又低得足以使设置对于我的规模仍然足够可负担。这五条约束解释了我在接下来这篇文章中几乎所有的决定。物理设置我决定建立一个单臂的桌面操控设置。桌面操控的好处在于它提供了无尽的不同难度的任务：例如，您可以从基本的单物体拿放任务开始，逐渐过渡到设置棋盘或组装乐高，这些都可以在相同的物理设置下进行。3 3 六年前，我们在OpenAI机器人团队也有同样的推理。在解决了魔方之后，我们转向桌面设置，因为它可以支持各种不同的任务，我们对通用机器人感兴趣。出于简化、空间和成本原因，我选择了单个机器人手臂，而不是双臂设置。然而，这一选择确实对我可以执行的任务类型施加了一些真实的限制：例如，用一只手臂折叠衬衫可能是不可能的。但单臂仍然留有许多有趣的桌面任务，而且它强迫一种有用的约束：策略必须通过行为来弥补缺失的硬件。它可以将物体推向另一个物体或桌边以固定它的位置，抓取之前重新定位某物，或者利用环境作为操控策略的一部分。至今为止，这正是我想研究的环境。在视觉方面，我使用了一个腕部摄像头和一个固定摄像头。我在这里的一个限制是空间：我无法建立一个完全整合的“机器人笼”实验室设置，这意味着相机的位置、光照条件以及视场内的背景会随着时间而变化。权衡是，数据将比固定实验室设置中的数据更杂乱。然而，我将其视为一种特性，并