在关于 AI 代理对在线基础设施造成破坏的持续报道中，芯片制造商 Nvidia 正在召集科技公司使用其新的开源 AI 安全工具。在过去几个月里，前沿 AI 实验室披露了多个事件，其中 AI 代理黑入其他公司或最近的例子是探测美国和澳大利亚政府的官方网站。尽管 Nvidia 已经在动员 AI 行业围绕开源安全方面发挥了领导作用，但现在它正推出一个新的软件安全平台，并更广泛地提供可代理 AI 沙盒。OpenShell 是 Nvidia 最近推出的为 AI 代理设计的安全沙盒之一，现在已正式发布给所有用户。OpenShell 最早是在 Nvidia 每年一度的 GTC 大会上宣布的；它是一个框架，用于在代理执行任务时将其控制并隔离其在操作系统内核中的活动，内核是能够访问计算机系统几乎所有部分的基础程序，以协调硬件和软件。Nvidia 的发布材料表明，它与包括 Anthropic、Cisco、CoreWeave、CrowdStrike、Dell Technologies、Hugging Face、摩根大通、Mistral、微软和 Palantir 等数十家其他科技公司开展了 AI 安全与安全方面的合作。Nvidia 表示，SpaceXAI 正在为其光标代理和 Grok 模型使用开放代理安全平台。该公司还表示，Anthropic 和 Nvidia 正在“为 Claude 管理代理构建安全性。” Salesforce、Scale AI 和 SAP 均已确认在一定程度上集成了 OpenShell。然而，尚不清楚 OpenShell 是否已被 Nvidia 的完整合作伙伴名单采纳，或者 Nvidia 是否在广泛表示。Nvidia 的名单中完全缺少一个值得注意的名字：OpenAI。两家公司都表示 OpenAI 是 Nvidia OpenShell 努力的一部分，尽管两者都拒绝直接评论为何该 AI 实验室未被包括在公告中。从近期流氓代理黑客事件的前期，安全工程师和 AI 安全专家就已经认识到隔离和监控代理 AI 的必要性。Nvidia 自身于 3 月份在 OpenShell 的公告中提到，该框架将增加“隐私和安全控制，以使自我进化、自治的 AI 代理或爪子更加可信、可扩展和可访问”，在 OpenAI 披露其 AI 代理黑入开源 AI 公司 Hugging Face 的几个月之前。（Nvidia 本月早些时候同意以 129 亿美元收购 Hugging Face。）这家芯片巨头还开发了一个名为 Sentry 的新软件平台，这是一个独立的芯片安全域，旨在持续监控长期运行的 AI 代理。虽然 Sentry 在技术上是一个软件工具，但它旨在实施到 Nvidia 的可编程数据处理单元（DPU）系列 Bluefield 上。这个想法是，除了 OpenShell 施加的限制外，Sentry 还可以作为一个独立的机制，能够“隔离试图超出其边界的代理。” Nvidia 企业计算副总裁兼总经理 Justin Boitano 表示，Sentry 是 Nvidia 客户和开源用户通过 OpenShell 实施安全政策的另一种方式。尽管传统的沙盒是为“应用级隔离”构建的，但现在人们希望运行代理的舰队，这就要求在所有这些代理之间制定“集体政策。”他说：“代理在寻找实现其目标的方法方面非常有创意。” Boitano 说：“借助此技术，代理仅能访问安全团队希望他们访问的意图。” Boitano 补充说，Nvidia 正与 Arm 和 Intel 合作，创建适用于 x86 芯片架构的 Sentry 版本。“一旦它在这些指令集架构上运行，就可以在任何架构上运行。”他说。Nvidia 正将这一切视为一项新的开源框架的一部分，称为开放代理安全平台，现在也涵盖了 OpenShell 和 Sentry。7 月，Nvidia 启动了一个跨行业的 AI 安全联盟，该联盟现在包括 120 多家公司。该联盟的声明目标是降低 AI 风险，特别是通过一个名为共享人工智能发现交流（SAFE）项目。上个月，Boitano 表示，SAFE 的设计旨在“独立管理，没有单一公司或行业细分控制其发现。”但有一家公司的名字不断出现在这些行业范围内的开源 AI 计划中心，那就是 Nvidia。这家被认为是全球最有价值的公司，几乎所有科技行业都依赖于它提供最高性能的芯片，似乎正在定位自己以加深其影响力并设定人工智能技术堆栈不同层次的标准，从硅到安全软件。尽管在行业内已经开展控制和抑制代理的工作，但最近流氓代理的行为表明需要提高对长期存在的核心安全问题的认识。