查看 PDF HTML（实验性） 摘要：解决软件工程任务的编码代理花费数十个步骤进行推理、编辑代码和运行测试，但关于其内部语言模型对正在处理的程序所表示的内容知之甚少。我们展示了编码代理下语言模型的残差流线性编码了不断演变的程序的属性：对隐藏状态的逻辑回归探针能够解码当前代码是否解析、是否通过其测试套件、是否减少了失败测试的数量以及是否引入了回归，在两个模型和两个基准上针对正确性达到高达 0.83 的 AUC。我们的第二个发现更令人惊讶：这些表示领先于代理自己的编辑。训练以预测未来编辑结果的探针（在它们被实现并写入磁盘之前）能够提前大约 25 步以上随机猜测水平。我们称之为代理的潜在编程视野。作为外部有效性的证明，我们展示了探针在没有重训练的情况下在基准之间转移。我们的积极结果呼吁对编码代理的机制可解释性进行更多研究。 主题：机器学习 (cs.LG)；软件工程 (cs.SE) 引用：arXiv:2607.05188 [cs.LG]（或 arXiv:2607.05188v1 [cs.LG] 针对此版本） https://doi.org/10.48550/arXiv.2607.05188 arXiv 发布的 DOI 通过 DataCite 提交历史 来自：André Silva [查看邮件] [v1] 2026年7月6日 星期一 15:08:26 UTC（653 KB）