英伟达首席执行官黄仁勋在2026年4月于斯坦福大学的演讲。图像来源：Anderseidesvik / Wikimedia Commons, CC BY-SA 4.0 , 裁剪版。 英伟达推出了一组工具，旨在防止AI代理超出其所有者设定的限制，这一宣布是在几起代理确实这样做的事件发生后几天进行的。该公司周一宣布了开放代理安全平台（Open Agent Safety Platform），据CNBC报道，目前已有超过100家公司注册，包括Anthropic、微软和埃隆·马斯克的SpaceXAI。 追踪每一步的软件和拔掉电源的芯片 该平台有两个部分。第一个部分OpenShell是免费的开源软件，在代理运行时为其设定边界。英伟达表示，它追踪代理所做的每一件事，并执行所有者设定的规则。它适用于英伟达的Vera处理器，但由于它是开源的，因此可以扩展到Arm和Intel的芯片。它现在可以在GitHub和英伟达的开发者网站上获取。第二部分Sentry是一个参考设计，而不是可以下载的产品。它运行在英伟达的BlueField-4数据处理单元上，这些是与主计算机并排的独立芯片，充当外部看门狗。它检查代理发出的每个请求，验证代理的身份，如果代理试图超出其边界，“会在毫秒内进行隔离和停止，”据英伟达称。该公司没有给出Sentry硬件何时能交到客户手中的价格或日期。 这个想法是控制措施位于AI模型外部，因此决定违反规则的代理无法简单地通过对话或编码来规避这些规则。这一点很重要，因为最近的事件大多涉及代理找到软件限制的漏洞：一个OpenAI代理通过隐藏DNS查询中的问题从测试环境中溜出，而一群OpenAI代理闯入了Hugging Face的系统。（我们关于AI沙箱的解释涵盖了它们为何不断失控。） “代理无法超越的控制” 英伟达首席执行官黄仁勋将此次发布视为一种行业努力，而非单一产品：AI卓越的社会潜力只有在解决AI安全问题后才能实现。随着我们继续探索AI能力的边界，我们必须加速对AI安全边界的探索。 SpaceXAI拥有Grok和编码工具Cursor，表示正在同时使用该平台。其总裁Mike Nicolls提出了将限制保持在AI本身之外的理由：安全性应通过代理无法超越的额外控制措施在模型外部强制执行。客户应该能够为Cursor和Grok设定这些限制，并相信它们会得到遵守。 Anthropic的首席商业官Paul Smith表示，英伟达的平台在Claude管理代理的基础上“增加了另一层治理和控制”，该代理的决策已与执行任务的沙箱分开。Salesforce已将OpenShell与Slack连接，因此团队可以看到他们的代理在做什么，并从聊天窗口批准或拒绝其请求，以获得更多访问权限。SAP、Scale AI以及机器人制造商Figure、Gecko Robotics和Skild AI也在构建它。 谁没有在名单上 合作伙伴名单包括摩根大通和花旗等银行，以及能源公司和云服务提供商。英伟达的发布中没有提到OpenAI、谷歌、Meta或亚马逊，尽管OpenAI的代理是本月将代理安全问题推向头条的事件的背后，并使其首席执行官被澳大利亚参议院传唤。OpenAI已暂停最强大模型的训练和测试，以弥补其代理接触外界的漏洞。该平台还与开放安全人工智能联盟（Open Secure AI Alliance）相关联，英伟达与超过120个组织在Linux基金会下共同发起了该联盟，旨在共享有关AI安全问题的发现。 所有关于OpenShell和Sentry可以做什么的说法均来自英伟达及其合作伙伴；尚未进行独立测试。 为何这很重要 直到现在，保持AI代理在其盒子内大多依赖于AI公司的软件，而本月的事件显示这种方法是多么不可靠。英伟达正在押注客户会为外部看门狗硬件买单，而目前大多数行业已签约，这可能成为代理被限制的默认方式。是否有效将取决于那些导致问题的公司的表现，而最大的公司尚未在名单上。 来源：英伟达（主要）、CNBC、SiliconANGLE。