主要内容目前，全球有数百家公司正在开发自动驾驶汽车（AV）技术，承诺将彻底改变所有人的交通方式。当前，该行业分为两大部分：完全自主的召车系统和配备驾驶辅助的消费车辆。在消费车辆中，机器学习（ML）解决方案显著改善了技术，但在一些不寻常或具有挑战性的情况中仍需要人工干预，因为学习过的规划者可能无法确定正确的行动。由于驾驶关系到安全，这些偶发故障显得尤为重要，因此人类驾驶员必须能够预测和准备应对这些情况。然而，机器学习规划者的黑箱特性使得解释和传达其决策原因变得困难，从而妨碍了人类驾驶员理解和预测自动驾驶汽车行为的能力，同时也难以实现实时的情境意识。自动驾驶汽车与人类驾驶员之间缺乏有效的沟通导致了多起高调事件，其中一些导致了人员伤亡，突显了解释机器学习规划者的紧迫需求。此前的研究试图通过调查和模拟场景来解决这一问题，或通过模拟驾驶员模拟自动驾驶汽车行为，或通过语言模型提供自然语言的驾驶政策原则。然而，这些研究大多是理论性的，它们没有提供因果忠实的解释，仅在模拟中进行评估，或者没有令人信服地证明这些解释对最终用户的实际效用。因此，如何提供可理解、有用、且忠实于自动驾驶汽车决策过程的解释问题依然存在。为了解答这个问题，我们在可解释设计的深度强化学习上扩大了我们的研究，利用文献中的概念瓶颈模型的主题，提出了概念包装网络（CW-Net）。CW-Net将黑箱机器学习规划者的推理根植于人类可解释的概念中，例如“接近停驶的车辆”或“靠近骑自行车的人”。该方法基于案例推理，这是一个经典的人工智能（AI）方法，受到人类推理与记忆的认知模型的启发。CW-Net可以应用于任意预训练的深度神经网络，不需要从头开始重新训练，也不会降低原始黑箱机器学习规划者的性能。由于推断的概念是CW-Net最终决策模块的唯一输入，因此直接决定自动驾驶汽车的行为，我们称之为因果忠实。值得注意的是，我们的方法与流行的事后解释方法形成对比，后者应用于预训练的模型，并且从构建上看，不保证对模型决策过程的忠实。我们将CW-Net应用于一个通过逆强化学习训练以模拟人类驾驶行为的机器学习规划者。我们将预训练深度神经网络的最终（奖励）层替换为概念分类器，并后接新的奖励层。然后我们联合训练分类器和新的奖励层，以预测场景类型和驾驶决策，而不修改网络的其余部分。在大规模基准上进行评估，确认CW-Net能够在不妨碍驾驶行为的情况下对概念进行分类。为了研究这些解释的实用性，我们在一辆带有安全驾驶员的真实自动驾驶汽车上部署CW-Net进行半自然主义研究。我们展示了三个情况，其中驾驶员最初不准确的心理模型随后通过CW-Net的解释得到了改善，这反过来使得驾驶员能够更准确地预测自动驾驶汽车的行为。然后我们在模拟这些场景的大规模在线研究中观察到类似的心理模型改善。最后，我们通过在拉斯维加斯的公共道路上部署CW-Net将这些结果联系到更复杂的现实世界情况。我们在一项大型在线研究中使用这些新数据，证明心理模型良好的改善会导致预测能力和情境意识的提高。总体而言，我们的工作展示了可解释的深度学习如何帮助先进自动驾驶系统的用户改善他们对系统的心理模型，并更好地预测未来行为。黑箱规划者我们专注于自动驾驶堆栈的规划模块，该模块以场景上下文 s 为输入，并输出一个轨迹 tau。这里，s 是由感知模块计算的场景的符号对象导向表示，而tau 是后续控制模块应遵循的轨迹。我们使用一个深度神经网络架构，由场景编码器 H ( s ) > h 和轨迹生成器 G ( s ) > { τ 1 , …, τ k } 组成，后接一个场景-轨迹编码器 E ( h , τ i ) > z。