AI研究人员和实验室在评估AI模型的安全性、合规性、奉承性和一致性等方面取得了显著进展。但看起来公司和开发者面临着一个新的具体需求：确保他们的AI系统在特定的产品或服务中按预期行为运行。为了简化这一测试过程，微软在星期二推出了ASSERT，自适应规范驱动评分的缩写，用于评估和回归测试。微软表示，这个开源框架通过利用AI将目标、政策或预期行为的高层次自然语言描述转化为全面的评分测试，从而使得针对应用特定AI行为的评估变得简单。ASSERT将AI模型预期行为和政策的通俗语言描述转变为一组结构化的可接受和不可接受的行为，生成问题场景和测试用例，对目标系统进行测试并评分。它还可以记录AI系统采取的路径，包括中间步骤和工具调用，以便开发者可以检查故障发生的位置。如果开发者希望进一步自定义评估内容，也可以提供系统上下文、工具和约束。例如，开发者可以指定一个文档研究AI代理不应该向公司外部的人发送电子邮件、将机密信息限制给C级高管，并在考虑之前背景的情况下提供简要摘要。ASSERT将利用这些规则生成测试用例，以检查系统是否持续遵循这些规则。根据微软的说法，该框架填补了更广泛、一般性评估无法弥补的空白，特别是当AI模型预计会根据特定应用或产品的上下文、政策和工具进行行为时。微软负责任AI的首席产品官Sarah Bird表示：“我们学到的一件事是，评估对于做出正确决策至关重要。因为如果你不了解AI系统的行为，真的很难知道它是否符合你组织的标准……我们发现，如果你真的想要一个值得信赖的系统，你应该评估更多应用特定的维度。”Bird表示，ASSERT可以在系统构建时、部署后甚至进行持续监控时使用。此次发布正值AI行业渐进但更广泛的转变之中。随着模型能力的不断增强，研究人员开始关注可重复的测试和回归检查，斯坦福大学的HELM、MLCommons的AILuminate和METR等评估团队推出基准，以测量模型在不同条件下的行为。当您通过我们的文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。Ram是一名金融和科技记者及编辑。他曾在路透社和Acuris Global报道过北美和欧洲的并购、股权、监管新闻和债务市场，也撰写过旅游、娱乐和书籍方面的文章。您可以通过电子邮件ram.iyer@techcrunch.com与Ram联系或验证其联系方式。