在Pantograph，我们正在努力训练可以自主行动数小时的通用机器人模型。特别是在机器人领域，获取多样化的大规模数据是困难的。通过学习互联网视频数据中的行为，模型可以借助计算能力扩展，而不是被小的动作数据集所限制。在这项工作中，我们开发了一种简单的方法，通过在互联网规模的视频上进行预训练，来学习目标导向的行为。通常，目标导向性是在训练后阶段教授的，这限制了其泛化的程度。在这里，我们在互联网规模的视频上进行预训练时学习目标导向性，这极大地提高了模型实现复杂目标的能力。视频游戏是测试机器人技术的有用场所。我们从Minecraft开始，因为它是开放式的，支持指挥多样的长期目标。该模型只能在一个游戏中行动，但我们将在接下来的几个月内针对更广泛的视觉环境分布训练更大的模型。我们的最大模型，称为Pan，是一个拥有40亿参数的模型，能够与生物作斗争，探索以寻找特定物体，完成具有挑战性的平衡环境，并根据命令建造结构。我们发现它能够泛化到相当多样的环境中，即使是它以前从未见过的环境。强化学习的有趣之处部分在于它可以产生超人类的模型。如果我们能够在视频上进行大规模的强化学习，我们可能能够在更多领域同时产生超人类的模型。# 从仅观察数据进行强化学习我们将互联网规模的视频视为仅包含观察的强化学习轨迹。 这种观点对某些模态是合理的，而对其他模态则不然。例如，大多数文本数据无法被视为代理与环境交互的书面转录。然而，对于音频数据，它可能有效。进行这种数据的强化学习是困难的，因为缺乏奖励和行动，但事实证明，对这两者都有简单的解决方案。目标条件是规避指定奖励函数需求的一种简单方法。这个想法是使用视频后期发生的事情作为早期部分的目标，这种技巧有时称为“后见回放”，因为它将可能在一个目标上的失败重新标记为对于实际发生的事情的成功。从原则上讲，您可以使用视频中后期发生的任何描述作为目标，但在这项工作中，我们专注于使用视频帧作为目标。尽管视频不包含动作，但仍然可以从视频中学习仅依赖于状态的函数。这包括价值函数，在目标条件的强化学习中，价值函数大致代表了在代理未来实现目标帧的概率，以及针对目标条件策略的下一个帧分布。这些都可以通过多种方式建模，包括基于似然性模型、基于能量的模型和对比学习。我们对未来的工作感到兴奋，这些工作可能会研究这些不同方法之间的权衡。经过这种与动作无关的预训练后，可以使用一个较小的包含动作的数据集来生成能够在环境中行动的代理。在强大的价值函数下，学习行动是一个更简单的问题（Richard S. Sutton和Andrew G. Barto，《强化学习：导论》，第二版，麻省理工学院出版社，2018）。价值函数有效地将强化学习中非常困难的多步骤决策问题转换为单步骤决策问题，这通常是更易处理的。我们认为将视频视为强化学习轨迹的这种视角是富有成果的，还有许多想法尚待探索。如果您对这种类型的工作感兴趣，请加入我们！从Pan-4b在各种环境中的选定回放。在顶部是回放视频，底部是模型所指令的目标图像。# 训练我们从头开始对一系列目标条件模型进行了预训练，使用了大约500,000小时的Minecraft游戏玩法的多样视频。之后，我们在大约2,000小时的承包商轨迹上进行了后期训练，轨迹包括视频和动作序列。预训练与动作无关，动作空间只在后期训练时出现。（详见附录）# 评估我们创建了一个104个评估环境的套件。每个环境由...