主要的量子计算机从根本上是类比机器，这使得它们与数字经典计算机相比极其脆弱。量子误差纠正（QEC）通过有效地将错误数字化来减轻这种脆弱性：通过嵌入在QEC协议中的重复错误检测，伪类比演变分支成一系列'错误'或'无错误'事件。这些二进制错误检测信号可以被解码以纠正逻辑量子态，从而提供了一种机制，以达到实践应用所需的低逻辑错误率（LER）。然而，单靠错误的数字化是不够的，QEC的实际成功在很大程度上依赖于对组成量子比特的类比控制：只有当物理门错误率显著低于某个阈值（大约10^-3到10^-2）时，QEC才有效。将系统的控制参数精确调整到满足这一先决条件的过程称为校准。尽管传统的校准技术已经能够实现所需精度，控制的类比特性使得系统性能容易受到漂移的影响。因此，挑战不仅在于达到QEC阈值，还在于在非平稳情况下持续保持这种性能。以前实验中对漂移问题的解决方案是终止整个QEC过程进行间歇性系统重校准。然而，这种计算与校准的完全脱节对需要持续执行数天甚至数月的未来有用算法构成了根本性瓶颈。尽管基于逻辑交换或代码变形的理论提案已被提出以调和这一对立，但它们涉及电路运行时间、占地面积和操作复杂性的大量开销。然而，嵌入在QEC算法中的错误检测过程提供了更直接的解决方案，因为来自不完美校准的错误会产生可检测的综合症，就像所有其他错误一样。在文献22中，一个开创性尝试通过工程化错误检测到物理控制的直接反馈回路，依赖于难以扩展的启发式方法。在这项工作中，我们提出了一种不同的范式：将错误检测事件重新用于人工智能代理的学习信号。图1：强化学习控制概述。在逻辑编码状态上的量子计算通过类比控制信号在物理上实现。量子错误通过QEC过程被数字化，错误检测事件被解码器用来推断逻辑修正。在我们的控制框架中，它们也被重新用于学习信号，教会RL代理在计算期间持续引导物理控制参数，并稳定量子系统。我们的框架基于强化学习（RL），这种方法在自动化解决不同领域的复杂控制问题方面表现出了显著成功。它推动了在复杂游戏中取得超人类表现的系统，促进了机器人技术的重大进展，并最近成为优化大型语言模型行为的关键因素。在量子控制领域，RL理论上针对各种问题进行了探索，并在实验中应用于改善孤立门和玻色子代码的性能。在这些基础上，我们在系统级挑战中展示了RL在校准和引导大型纠错量子处理器方面的有效性。我们在距离为5和7的表面码和距离为5的颜色码上进行实验，重点关注量子存储算法，在该算法中，通过重复应用QEC周期来保持逻辑状态随时间的保留。我们的RL代理管理着超过1000个控制参数，这些参数指定如何将抽象的QEC电路转换为控制量子系统的类比波形。该代理成功地在注入漂移的情况下引导系统，LER稳定性提高了2.4倍，随着补充解码器引导这一数据增加到3.5倍。此外，对已校准的处理器进行RL微调，推动LER的压制额外提升了20%，使性能超越传统基于物理的校准和人类专家调优的极限。即使从随机初始化的控制参数开始，该代理也能够达到高性能，表明其潜力可以增强或替代传统校准堆栈的某些元素。在展示了RL控制当今最先进的QEC处理器后，我们进一步通过数值模拟展示了该框架的未来潜力。这些模拟确立了RL控制与不间断操作的兼容性。