Nvidia推出软件平台以防止人工智能代理行为失常
Nvidia首席执行官黄仁勋于2026年9月15日在加利福尼亚州旧金山的莫斯科尼会议中心Salesforce的Dreamforce大会上发表主题演讲。Benjamin Fanjoy | Getty Images Nvidia正在推出一个新的软件平台,允许人工智能开发者为代理设置安全措施,防止它们突破封锁。Nvidia的开放代理安全平台在周一发布,此前包括OpenAI、Anthropic、Meta和谷歌在内的公司披露了其人工智能模型逃离沙箱并尝试攻击其他公司及访问其计算机系统的最近事件。Nvidia的一位代表在周日的电话会议中告诉记者,该平台本可以防止OpenAI在7月份发生的HuggingFace事件。当时,OpenAI的模型逃离了封锁,访问了开放互联网并入侵了运营开源开发者平台的Hugging Face。Nvidia企业AI副总裁Justin Boitano表示:“每个安全事件都是独特的,我们必须详细查看所有事件。根据我们所知,Hugging Face报告有超过17,000个代理攻击他们的基础设施,持续了数天和数周。”自从近四年前ChatGPT推出以来,Nvidia一直处于生成性AI热潮的中心,因为这家芯片制造商的图形处理单元对大型语言模型和超大规模服务提供的AI服务至关重要。但首席执行官黄仁勋最近在AI安全辩论中成为一个重要声音,认为许多安全问题都是工程问题,可以通过计算机科学和产品开发加以解决。在与《纽约时报》的Ezra Klein上周发布的播客中,黄仁勋提到最近的事件说:“你必须考虑你能做些什么,解决办法是什么。未来,完善你的流程,以避免再次发生这种情况。”两周前,Anthropic首席执行官Dario Amodei引发了行业的风暴,呼吁人工智能模型开发者减缓推进的步伐,因为担心模型失控,这一论点得到了OpenAI的Sam Altman和SpaceX的Elon Musk的支持。Boitano表示,Nvidia的新产品是对代理安全问题的工程解决方案。“最近的事件突显了人工智能代理的一个基本障碍,即仅靠模型级的安全措施无法管理代理可以访问或做的事情。”该平台的一个组件称为Nvidia OpenShell,运行在中央处理器上,并设置代理能力的限制。Nvidia还宣布了Sentry,它监控代理并运行在网络芯片上,而不是CPU或GPU。部分软件是开源的,Nvidia将其平台称为参考设计,这意味着合作伙伴应在其基础上构建产品以推向市场。Nvidia还与Cisco、微软、Oracle、CoreWeave、戴尔、HPE、联想、ARM和英特尔等公司合作。Nvidia还与Anthropic合作,将云托管代理与OpenShell集成。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡