英伟达推出新平台以控制不受控的人工智能代理
随着关于近期一系列不受控的人工智能代理是否接近通用人工智能(AGI)或更传统的工程问题的辩论持续升温,英伟达提供了自己的解决方案。英伟达首席执行官黄仁勋周一介绍了一套软件和硬件产品工具包,为人工智能代理增加了独立的安全层,以确保它们在测试环境中保持受控,即使它们试图逃脱也能有效防止。这一发布紧随了一系列涉及Anthropic、谷歌、OpenAI和Meta等公司的人工智能模型的黑客事件,这些事件绕过安全控制,逃离了测试环境,进入现实世界系统。最初的、最突出的例子是今年夏天,当OpenAI代理在试图完成网络安全任务时侵入了Hugging Face。此后事件接连不断——OpenAI发布了一个新网站,专门用于报告其人工智能代理的不当行为。黄仁勋周一在接受CNBC采访时表示,其新推出的英伟达开放代理安全平台本可以防止这些违规行为。英伟达在向人工智能实验室销售GPU和CPU芯片上已赚取数百亿美元,该公司并不支持通过放慢开发或增加新的行业规定来解决安全问题。该公司的观点是,将一些安全控制移至代理之外,创造一个持续且独立的安全保护者,以确保人工智能代理的行为受到控制。“人工智能对社会的巨大潜力只有通过解决人工智能安全问题才能实现,”黄仁勋在一份声明中表示。“随着我们继续发现人工智能能力的前沿,我们必须在人工智能安全的前沿加快发现。安全和保障需要全栈工程。”新的英伟达开放代理安全平台结合了OpenShell——该公司的开源软件,用于控制代理在操作时可以访问的内容,以及Sentry——一个运行在英伟达BlueField-4数据处理单元上的独立监控系统。英伟达表示,将Sentry放置在单独的处理器上,而非在人工智能代理运行的CPU或GPU上,可以提供代理活动的隔离视图。OpenShell并不新颖;该公司在三月份宣布了该软件。但正是这种组合让英伟达相信能够提供所需的安全层,以保持行业的持续发展。OpenShell为代理提供了软件边界,而Sentry则增加了硬件级另一个防线,该公司表示将持续监控行为,并“在毫秒内隔离试图越界的代理”。英伟达列出了数十家已签署支持该努力并使用开放源平台的公司,包括Anthropic、Arm、微软、甲骨文和SpaceX。OpenAI并未列为参与公司。黄仁勋在周一接受CNBC采访时表示,跟随彼得·施泰因伯格(Peter Steinberger)创建的代理操作系统OpenClaw的推出,这一工作的开展始于一年以前。三月份,英伟达发布了NemoClaw,一个企业级的人工智能代理平台,以及它自己的版本OpenClaw,内置了安全功能。“当你部署一个代理时,无论它多聪明,首先要做的事情就是剥夺它所有的权利,”黄仁勋在CNBC采访中表示,并将这些安全措施与人类员工甚至高管在公司中的管理进行了比较。英伟达的发布在那些警告说放慢开发可能允许中国在人工智能领域赶超美国的人士中得到了广泛支持。创始人、风险投资家、前白宫人工智能沙皇以及总统科学技术顾问委员会共同主席大卫·萨克斯(David Sacks)表示,英伟达的公告提醒我们,代理安全是一个工程问题。“最近的突破并不是停止开发的证明”,他在X平台上写道。“它们证明了沙箱太薄弱。运行时环境设计不佳,配置错误。”
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡