一步陷阱（在AI研究中） 里奇·萨顿 2024年7月18日为X撰写 一步陷阱是一个常见错误，人们认为一个AI智能体所学习的所有或大多数预测可以仅仅是一步的预测，所有长期预测则通过迭代这些一步预测而生成。这一陷阱最重要的地方在于，当一步预测构成了对世界及其随时间演变的模型时。这种想法很有吸引力，认为我们可以仅学习一个一步转移模型，然后‘推出’以预测一种行为方式的所有长期后果。这一步模型被视为类似于物理学或现实模拟器的模型。这一错误的吸引力在于它蕴含了一丝真理：如果所有的一步预测都可以精确地做出，那么可以用来以完美的准确性做出所有长期预测。然而，如果一步预测并不完全准确，那么所有的计算都将失去意义。在实践中，迭代了一步预测通常会产生较差的结果。一步错误会累积并叠加成长期预测中的巨大错误。此外，从一步预测计算长期预测在计算上是极其复杂的。在一个随机的世界中，或者对于一个随机策略，未来不是单一路径，而是一棵可能性的树，每一条都必须通过其概率来想象和加权。因此，从一步预测计算长期预测的计算复杂度是与预测长度呈指数关系的，因此通常是不可行的。底线是一种对世界的单步模型是毫无希望的，尽管极具吸引力，并且广泛用于POMDP、贝叶斯分析、控制理论和AI压缩理论。我的观点是，解决方案是使用选项和GVF形成时间抽象模型，如以下参考文献所示。 里奇·萨顿, 德米特里·普雷库普, 苏里·辛格（1999）。在MDP和半MDP之间：强化学习中的时间抽象框架。《人工智能》112:181-211. 里奇·萨顿, 杰夫·莫达伊尔, 马克·德尔普, 泰茨·德格里斯, 皮拉斯基·皮·M, 阿尔珀特·怀特, 德米特里·普雷库普（2011）。Horde：一个可扩展的实时架构，用于从无监督传感器运动交互中学习知识。在第十届国际自主代理与多智能体系统会议论文集中，台北，台湾。 里奇·萨顿, 马查多·M·C, 亨德森·G·Z, 蒂姆伯斯·D·S·F, 坦纳·B, & 怀特·A.（2023）。尊重奖励的子任务用于基于模型的强化学习。《人工智能》324。