人工智能实验室在模型基准测试上建立了他们的声誉——这种被认为是中立和准确的评估系统旨在测量一个AI产品是否优于另一个。然而，这些评估背后的方法复杂且仍在发展中，Hugging Face的政策负责人Irene Solaiman在上周的TechCrunch Disrupt讨论中表示。如果行业未来要依赖于这些评估，测试需要整合成一种更一致的科学。考虑到这一点，我们能信任当前发布的测试吗？“信任是一个权重极大的术语，”Solaiman说道。“就我们是否可以信任结果而言，一个重要部分是你能否重现评估的结果？你是否拥有对模型本身的必要访问权限——这就是开放权重发挥巨大作用的地方，”她补充道。模型评估的可重现性长期以来一直是基准测试中最棘手的方面之一，并且在业界仍然是一个重要的争论话题。除了个别测试的有效性外，还有一个额外的问题是该测试与其他评估的比较。“它们是一门不断发展的科学——我们不知道如何有意义地相互比较，”Solaiman说。“它们很快就会变得无效，而我们所需的生态系统并没有繁荣发展，”她补充道。“现在人们渴望一个嵌入式评估者生态系统，但决定谁在什么任务上是有效评估者的资格需要更多的标准化。” 嵌入式评估者的概念——将声称“中立”的第三方观察者放置在AI组织内部——在过去几个月里被广泛传播，因为AI实验室面临一系列安全事件，这些事件引发了对其技术潜在危害的担忧。Hugging Face曾是其中一个事件的著名目标。实验室不想通过积极的政府监管来识别和缓解模型安全问题，而是推动第三方解决方案。然而，仍然有人对这些评估者的中立性或有效性表示怀疑。Anthropic决定聘请Accenture作为首个评估者引发了许多反对声音，一些批评者嘲讽顾问公司具备执行这一任务的资格。评估现在正从对模型本身的测试转向对围绕模型的整个系统的测试——包括工具和代理。具体来说，工具——或用户用来访问模型的工具，与模型的性能关系密切，一个性能较弱的模型加上一个更好的工具，可以轻松超越一个先进的模型，Solaiman分享道。“代理评估非常困难且成本高昂，”Solaiman说道。“我们对模型的评估更多……我们对工具的评估不多，而我们正在为整体代理开发更好的评估——因为这正是许多人获取价值的地方，”她补充道。换句话说：评估领域目前有点像无序状态，如果基准测试要继续被视为行业领导者的有用工具，就可能需要一种更统一的、全行业的做法——让每个人都在同一页面上。当您通过我们文章中的链接进行购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。Lucas是TechCrunch的高级撰稿人，负责报道人工智能、消费科技和初创公司。他曾在Gizmodo报道人工智能和网络安全。您可以通过电子邮件联系Lucas：[email protected]。查看个人资料