物理人工智能的前沿是在加利福尼亚州圣莱安德罗的一座仓库中的一场 Jenga 游戏。这个仓库被 Encord 占据，Encord 是一家用于训练 AI 模型的数据工具公司。安德鲁·塞哈是一名飞行员——这是公司对其机器人培训师的称呼——他戴着一个带有摄像头的耳机，跟踪他所看到的画面，小心翼翼地从摇摇欲坠的塔中抽出木块。仅仅收集机器人训练数据，这种做法已经相当普遍，但这个耳机包括测量他脑波的传感器，而他正小心地拆解方块塔。Encord 是一家小而不断增长的初创公司之一，他们押注于下一个对类人和仓库机器人真正的限制不会是模型架构，而是真实世界物理训练数据的稀缺性。与其仅仅帮助机器人公司管理他们现有的数据，Encord 正在围绕制造他们所缺乏的数据构建业务。塞哈所佩戴的脑波耳机是由 Zander Labs 制造的，这是一家德国神经科学初创公司，他们正在下注，测量脑活动——以推断错误、意图和惊讶等心理状态——可以创造出更有用的数据集来训练模型。Encord 与 Zander 的合作目前是在试运行中；Encord 说目标是构建一个初步的脑波标记数据集，通过客户的机器人模型进行运行，并评估这是否实际上改善了性能，然后再决定是否扩大规模。监督这一工作的 Zander 神经科学家卢卡斯·盖尔克表示，在给定任务的任何时刻使用的脑活动量为模型构建者提供了线索，帮助他们确定何时需要部署最高效率的模型。根据 Encord 机器人学习负责人维尼思·韦尔穆拉根的说法，这是解决机器人数据瓶颈的“前沿”。韦尔穆拉根是 OpenAI 机器人实验室和仓库自动化公司 Berkshire Grey 的老兵，他加入 Encord 建立公司的内部数据创建团队。Encord 的成立是为了帮助构建机器视觉应用程序的公司注释数据和评估模型。随着他们的客户——韦尔穆拉根表示，他们与许多领先的机器人公司合作，但他未获授权讨论客户名称——开始将端到端学习应用于机器人操作任务，管理层意识到他们必须自己生成训练数据，而不仅仅是管理数据。“数据根本不存在，”韦尔穆拉根说。生成 AI 能为机器人做的事情与为聊天机器人做的事情遇到同样的壁垒。大型语言模型基于整个互联网的文本构建而成，甚至更多。找到相同的原材料来教授神经网络物理操作的知识非常具有挑战性：自动驾驶汽车公司自己收集这些数据，但这很难规模化。通过视频进行训练是可行的，但缺乏真实世界数据的真实性。韦尔穆拉根表示，要突破这一点，需要一个大约是 YouTube 视频语料库五倍大小的数据集——这种规模有助于解释为什么数据生成本身已经成为一种业务，而不仅仅是一个研究问题。为了满足自身的自我中心数据需求，构建机器人大脑的公司现在正在转向两个主要来源：由穿戴摄像机的工人收集的“自我中心”视频，通常通过额外的摄像角度和其他指标进行增强，以及从遥控操作的机器人收集的数据。Encord 两者都在做，从全球多个工厂提取自我中心数据，并利用其位于圣莱安德罗的设施实验新的模式，例如脑波，或者围绕特定技能收集数据集以便进行微调。当 TechCrunch 访问时，飞行员们使用领导者-跟随设备——成对的机器人手臂，一个由人工操控，另一个模仿其运动——来创建关于将咖啡从壶倒入杯子（非常泼洒）和叠放扑克牌筹码等任务的数据。“每个类人公司都向我们请求这些数据，”韦尔穆拉根说。存储架上放着假花瓶、书籍、塑料蔬菜、猫砂盘及铲子、袋子和捆扎的电线，这些都是为家庭任务训练操控设备的交易工具。在其中一个工作站，另一名飞行员索非亚·因凡特操纵机器人手臂插拔服务器后面的以太网电缆——这种工作是数据中心运作商希望自动化的，如果机器人能够以所需的精度进行操作的话。控制台上转转，我能够明白为什么这依然无法实现：夹具远不如人类手指灵巧，并且缺乏我们在手臂中视为理所当然的自由度。Encord 正在开发的另一种新数据模式使用一组绑在前臂上的传感器来检测肌肉中的电信号。通常拍摄人类手操控物体的视频并不能捕捉整个手，但韦尔穆拉根希望基于手臂传感器构建手的 3D 描述，从而为模型创建更全面的理解。