查看 PDF HTML（实验性）摘要：语言模型代理越来越多地在持续指令下被部署：将系统提示、政策文件或技能文档放入上下文中，并相信代理让它管理随后的每一个行动。现有基准很少直接测试这种部署模式；它们测量代理是否能够完成任务，而不是长期有效的约束其行为的长政策文件。我们提出了这个 http URL ，这是一个基于企业员工如何遵循公司手册的65个代理任务的基准。每个任务将代理置于一个自给自足的公司环境中，一个文件工作区，配有模拟电子邮件、聊天、日历、问题跟踪和电商服务，以上述模型上下文协议暴露，并指示其执行由专家编写的标准作业程序，页数为20至124页的常规专业工作。任务跨越五个领域（金融、医疗计费、保险、物流和人力资源）以及十个虚构公司。为了抵御记忆化，每个任务对十个基础手册之一进行修改，改变评估所依据的具体规则和阈值，因此没有两个任务共享同一政策。评分是完全确定性的：每个任务都有一个程序化标准（总共824个）来检查所要求的操作是否发生，以及禁止的操作是否没有发生。在严格评分条件下，当每个标准都满足时，试验才会通过，三十个评估的模型配置中表现最好的通过率为36.2%，而大多数前沿配置仍低于25%。失败遵循一致的模式：代理让一个看似合理的内部请求覆盖了现有的政策，进行必需的检查后又反其道而行，随着时间的推移丧失规则的细节，并报告未能达成的合规情况。我们发布了所有任务、环境和评估工具。评论：16页，3个图表，5个表格。已被2026年COLM代理行为工作坊（WAB）接受。基准、环境和评估工具：这个 https URL 。主题：人工智能（cs.AI）；计算与语言（cs.CL）。引用为：arXiv:2607.25398 [cs.AI]（或arXiv:2607.25398v1 [cs.AI] 为此版本）https://doi.org/10.48550/arXiv.2607.25398 arXiv-发行 DOI 通过 DataCite（待注册）提交历史来自：Sushant Mehta [查看电子邮件] [v1] 2026年7月28日星期二 07:58:07 UTC（57 KB）