基准地图 每个图块代表923个构成美国劳动力的O*NET职业之一，分为22个职位家族。根据任务在我们初始AI基准列表中的占比，对职业进行了着色。一个基准提示可以映射到多个O*NET任务。 点击家庭打开22个职位家族的覆盖情况 至少被基准覆盖的比例 无覆盖 所有22个O*NET职位家族及其职业被AI基准覆盖的比例。 职位家族 覆盖的职业 29 / 36 33 / 48 10 / 14 5 / 7 21 / 51 21 / 56 19 / 56 6 / 22 13 / 40 15 / 60 12 / 89 9 / 62 22个中的1–12 在我们的数据集中：923个职业中仅有208个职业的任务至少有5个基准提示，并且22个职业家族中有6个没有这样的职业。我们的研究结果表明，90%的美国工作时间花在与现有基准覆盖较少或没有覆盖的任务上。这使得很难了解AI模型对美国人实际工作的能力。现有基准的覆盖范围也不是随机的。我们的地图表明，AI社区首先关注的是最大的劳动市场：按职业工资总额，O*NET任务的基准覆盖率 职业工资水平 调整后的任务覆盖概率 年度职业工资总额（对数规模） 每个点显示了一个具有特定AI暴露标签的O*NET任务被至少5个提示包含在我们基准索引中的概率估计。AI暴露标签是二进制的，来自Eloundou等（2023）。职业工资总额是根据BLS对每个职业的平均工资和在职美国人数的估算计算的，假设40小时工作周。估计的覆盖概率来自任务级别的逻辑回归，覆盖概率与AI暴露和对数职业工资总额之间的关系。误差条是根据职业组层级聚集的标准误差计算的95%点估计置信区间。例如，我们初始列表中的基准任务在AI暴露的律师任务中有很高的覆盖率，但几乎没有覆盖任何类似AI暴露的法律秘书或法庭书记员的O*NET任务。较小的中产阶级知识工作职位的长尾似乎被覆盖不足。当我们扩展模型能力在经济中的覆盖面时，我们希望能揭示并帮助填补我们对模型能做什么的理解中的更多空白。 方法论简述 为了将经济分解为行业、职业和任务，我们使用了美国劳工部的O*NET分类法。O*NET将美国劳动力分为923个职业；对于每个职业，O*NET尝试提供涵盖该职业的“任务”的全面列表，所有职业共计18,797个任务。 示例 — O*NET与律师相关的22个任务中的6个 1 准备、起草和审查法律文件，例如遗嘱、契约、专利申请、抵押贷款、租约和合同。 2 就商业交易、索赔责任、起诉或辩护诉讼的可行性，以及法律权利和义务向客户提供建议。 3 为个人和企业解释法律、裁决和法规。 4 使用法律先例的知识分析案件的可能结果。 5 在刑事或民事诉讼中出示证据为客户辩护或起诉被告。 6 监督法律助理。 为了测量基准覆盖率，我们从29个基准开始，选择这些基准是因为它们的质量和经济相关性。（完整的列表和选择标准在基准索引标签中）。 在选择这个列表的基准时，我们优先考虑：公共可用性。包含的基准至少有25个公开可用的任务。我们还包括Mercor的APEX基准，在这些基准中我们可以访问未公开的基准提示，因此能够将其映射到O*NET任务。自主任务。包含的基准要求模型执行自主任务，而不是仅仅回答问题或建议用户如何完成任务。经济现实。基准任务类似于现实企业中人类（或代理）经常被问到的任务。经济上有价值的任务优先于学术复杂的任务。经济多样性。我们对每个职位家族中包含的基准数量进行了限制，主要是为了考虑到热门基准中软件工程和研究任务的巨大过度表现。难度平衡。基准尚未被前沿模型饱和。基于Wang等人的工作，我们然后请求一个LLM评估者为每个基准提示标记尽可能多的与该提示相对应的O*NET任务。我们通过人类专家对Mercor的APEX基准的标记来验证我们的LLM标记，该基准是这29个列表的一个子集。在基准地图上，如果我们的LLM评估者已将O*NET任务映射到我们的29个基准中的至少5个提示，则该O*NET任务计为“覆盖”。为了估计美国人花费的工作时间在被此列表中的基准覆盖的任务上所占的总份额，