我们评估了开源权重AI模型GLM 5.2在为一家小型英国企业准备季度增值税（VAT）报表方面的表现。为增值税报表准备是一项典型的小型/中型企业（SME）合规任务。英国的增值税登记企业必须每季度准备增值税报表。对于中小型企业，增值税报表通常由外部会计事务所准备。这项服务的典型费用约为750–2100英镑/季度（1000–2800美元/季度）。法定要求是在季度结束后5周内提交增值税报表。迟交会产生巨额罚款。在我们的测试中，GLM 5.2可以为一家英国中小企业准备几乎完美的季度增值税报表，在68分钟内处理59笔交易，原始代币成本为2.73美元。GLM 5.2必须通过命令行工具（CLI）将每笔交易输入会计软件。我们评分了会计软件的最终状态，评估了每笔交易6个标准的正确性。模型生成了基本正确的增值税报表，净没收（框5）与真实值相差仅7便士（约10美分）。在这篇博客中，我们将解释基准测试是如何进行的，并记录模型所犯的错误。基准测试的进行方式我们使用Claude Fable 5从我们的会计软件提取基准数据，以交易数据和相应收据的形式获得：2026年1月、2月、3月（第一季度）的Vineyard Finance账簿。这些账簿由人类内部准备，遵循典型的会计流程：一人编制账簿，另一人核对。人类所执行的工作比模型在本基准测试中要求的更广泛：人类还必须找到相关发票（在邮箱中查找或从提供商那里请求），并推理出从银行记录和发票/收据中无法推断的任何情况。在基准测试中，这些情况被呈现给模型作为“用户备注”。GLM 5.2运行在一个与其他测试环境隔离的Google云平台（GCP）实例上（以防止模型访问真实值）：但它可以访问互联网和基于云的会计软件，以及一个经过预认证的CLI工具。该模型在一个自定义的最小测试环境上运行，这仅暴露了两个工具：bash工具和会话终止+最终报告工具。我们使用Fireworks AI无服务器层作为GLM 5.2模型提供者（提供方未披露模型的确切量化，但被认为是FP16或FP8）。对模型推理和工具使用的审计没有发现任何明显的作弊。模型唯一意外使用互联网连接的情况是收集有关记录反向增值税的信息，而所寻求的信息是针对所使用的会计软件的。其他外部连接是出于运营原因以API调用的形式进行的。我们注意到，模型的推理受到其正在接受测试的认识的影响。例如，在某个时刻，模型评论道：“该任务正在测试我是否正确处理增值税……‘预期’答案是什么？”模型所看到的情况以下是基准测试中典型交易在模型中出现的方式：银行记录行：{"id":"941285000000092067","date":"2026-03-08","amount":-18,"currency":"GBP","account":"Wise GBP","description":"Claude.ai 订阅的卡交易18.00 GBP发出的人工智能服务 ANTHROPIC.COM CARD-3534994599","card_ref":"CARD-3534994599"} 收据PDF：基准测试中的所有收据和发票都是含有文本的PDF；没有收据或PDF需要图像处理。因此，GLM 5.2模型缺乏视觉支持并未成为本基准测试的限制因素。可选用户备注。59笔交易中只有两笔交易有用户备注。用户备注的文本精确如下：1）“创始人股份”，2）“个人租车”。这两个用户备注对于让模型推理出无法从银行记录和收据数据推导出的现实世界背景是必要的。我们如何评分每笔交易的评分依据是基准测试运行后会计软件中账簿的最终状态，依据以下6个标准：交易类型（例如：购买、银行费用、转账、销售收入、资本引入、董事贷款、退款等……）——这些是根据会计软件中处理的交易状态确定的。类别（来自账户图表的“账户”，例如“IT和互联网费用”）。增值税处理（例如反向收费、20%增值税、0%增值税、增值税豁免）。增值税金额（容差为0.02英镑）。反向增值税（容差为0.02英镑）。收据附加（税务机关要求的证据）。以下表格总结了整个基准测试的运行情况。