人工分析智能指数 v5.0 人工分析智能指数结合了一套全面的评估数据集，以评估语言模型在推理、知识、数学和编程方面的能力。它是整体语言模型智能的有用综合，可以用于比较语言模型。与所有评估指标一样，它有局限性，可能不直接适用于每个用例。然而，我们有信心这比现有的任何其他指标更有用地综合比较语言模型。人工分析智能指数 v5.0 包含 9 个评估：AA-Briefcase v1.1、AutomationBench-AA、GDP.pdf、FrontierCode 2.0、Terminal-Bench 4.0、AA-Omniscience v1.1、HLE-Diamond、CritPt v2（硬子集）和 Terminal-Bench-Science 0.1.0。我们的方法强调公平性和现实应用性。人工分析智能指数主要是基于文本的、英语语言的评估套件。我们单独为图像输入、语音输入和多语言性能对智能指数评估套件进行基准测试。智能指数评估套件 智能指数是根据四个类别的加权平均值计算的：知识工作（25%）、编码（25%）、科学（25%）和一般（25%）。类别成员和每项评估的权重如下： 类别 评估 问题 重复 响应类型 评分 智能指数 权重 工具使用 私人知识工作（25%） AA-Briefcase v1.1 91 个任务，覆盖 4 个场景 1 代理任务完成，带文件输出 基于评分标准的配对比较的成功率、分析质量和表现质量的综合 Elo 15% ✓ AutomationBench-AA 657 个任务 1 基于 REST API 工具的 SaaS 工作流自动化 目标完成，触发保护措施违规的任务得零分 5% ✓ GDP.pdf 100 个任务，覆盖 10 个领域 5 基于长 PDF 的自由形式答案 基于评分标准的 LLM 评分，全通过 5% ✗ ✗ 编码（25%） FrontierCode 2.0 132 3 对开源代码库的代码更改 测试和评分标准，LLM 评审；任何阻止检查的任务得零分 15% Terminal-Bench 4.0 66 3 基于终端的任务执行 测试套件通过/失败，通过@1 10% ✗ 科学（25%） Terminal-Bench-Science 0.1 70（5 个领域） 3 基于终端的任务执行 测试套件通过/失败，通过@1 15% ✗ CritPt v2（硬子集） 40（70 的硬子集） 5 Python 函数、符号表达式、数值答案 官方评分服务器，通过@1 10% 一般（25%） AA-Omniscience v1.1 3,000 1 开放答案准确性（10%）和 1 - 幻觉率（5%）作为单独的组成部分 15% ✗ HLE-Diamond 1,000（500 推理，500 知识） 1 开放答案相等检查 LLM，通过@1 10% ✗ ✗ 附加评估 除了智能指数套件，我们还进行一系列额外评估，涵盖多语言、视觉、数学和其他能力。这些评估单独报告，并不包括在智能指数分数中。人工分析多语言指数：代表模型的多语言能力。这是基于支持语言的全球 MMLU-Lite 评估。