安娜计划出售她的公寓。她在 2024 年 8 月搬出去，想知道在 2026 年 10 月或 2027 年 1 月关闭交易哪个更有利于税务。一位 AI 代理评估了这两个选项，并正确得出结论，任一日期都能满足价值高达 250,000 美元的免税收益的居住要求。但它漏掉了一个重要的截止日期。根据通常规则，房主在出售房产前必须在该物业居住至少两年，以符合豁免资格。由于安娜在 2024 年 8 月搬出，她将在 2027 年 8 月底左右停止满足该要求。如果她的销售推迟到 2027 年 8 月之后，她可能会失去资格。在五次尝试中，Astra 从未识别出截止日期。Opus 在所有五次尝试中都识别出了它。该代理正确评估了拟议的日期，但其建议使安娜未能意识到可能影响重大财务决策的截止日期。税务顾问应能识别出重要问题，即使客户不知道要问。这正是我们通过 DAYJOB：税务进行测试的专业判断，DAYJOB 是 Surge AI 的 DAYJOB 基准系列的最新补充。介绍 DAYJOB：税务 DAYJOB 在专业税务任务中评估 AI 代理，这些任务需要专业知识、复杂材料和在初始指令中未完全指定的决策。我们之前的发布覆盖了医疗保健和金融。DAYJOB：税务将这项工作扩展到税务准备、合规和咨询服务。该基准包含了涵盖八个税务实践领域的 50 个环境。代理接收客户请求和支持记录，然后制作税务申报表、工作文件、技术审查或客户建议。这些任务测试专业判断以及税务知识、计算、信息检索和遵循指示。代理必须决定什么值得调查，解决冲突证据，识别信息不足的情况，并将这些决定带入最终工作中。结果：排行榜和 帕累托前沿 Claude Sonnet 5.5 在 DAYJOB：税务排行榜上以 10.8% 的通过率领先，其次是 Claude Fable 5.1 的 9.6% 和 Claude Opus 5.5 的 9.2%。我们在 95% 的标准阈值下报告 pass@1。当尝试满足任务标准的至少 95% 时，则视为通过，这些标准评估计算、支持证据、重要问题和完成的交付物。性能与成本 我们还将模型性能与每次试验的平均成本进行了比较。Claude Sonnet 5.5 和 Opus 5.5 位于测量的帕累托前沿的高性能端。专业税务工作的广度 DAYJOB：税务涵盖八个领域，每个领域需要不同的规则、记录和专业知识：个人和家庭税务 小型企业税务 合伙企业 财产和投资 财产、赠与和信托 国际税务 企业交易 税务审查和争议 一些任务需要完整的申报材料和支持工作文件。其他任务要求代理调查交易，审查之前的申报或准备有关客户尚未做出的决策的建议。这些任务的内容是什么？该基准包含 1,789 个工作区文件，每项任务的中位数为 30 个，最多可达 123 个。这些文件包括 1,487 个 PDF、117 个 Excel 工作簿、38 个 Word 文档，以及其他电子邮件、图像、CSV、JSON 记录和文本文件。工作区包括已提交和草稿的税务申报表、K-1 表、W-2 表、国税局通知、总账、工资记录、合同和信函。它们还包含税务专业人员日常处理的较不规范的证据。一项任务包括购买转售商品的手写收据的照片。代理必须读取商品描述和金额，将其与支出记录进行核对，并确定这些购买如何影响库存和销售成本。另一项任务涉及一家工业筒仓服务公司，其客户认为它只在阿拉巴马州运营。但其现场调度日志显示，工作人员在五个州工作。工作的地点、人员规模和在现场的天数提供了与公司的多州税务义务相关的证据。其他环境也各不相同。其中一个环境涉及一个跨境家庭，其波兰的就业和财产记录必须与加密货币交易出口、钱包历史和历史购买批次进行核对。由税务专家创建和审核 的 DAYJOB 任务始于现实世界的专业工作流程。税务专家将这些情况转化为现实任务，制定支持记录、预期结果和评估标准。每个任务经过三层专家审核，以确保正确性、完整性和可解决性。税务专家在公司税务、合伙企业、个人报税、信托和多州合规方面具有丰富经验。