开源是应对流氓AI代理的答案吗?Nvidia的新联盟表示肯定
GummyBone/ iStock Editorial / Getty Images Plus via Getty Images 关注ZDNET:将我们加入您在Google上的首选来源。ZDNET的主要观点:Nvidia的新开源联盟旨在民主化安全解决方案。AI通常是应对AI驱动攻击的最佳工具。代理跃居是更好安全性的关键组成部分。今年,AI代理导致了一系列持续的安全事件。Nvidia认为,基于开源软件的新合作伙伴关系是答案。周一,该公司宣布了开放安全AI联盟,表示“将利用开放技术来修复和披露漏洞。”这项公告在某种程度上回应了Anthropic围绕其强大的Mythos 5模型主导的安全联盟Project Glasswing。Nvidia的举措旨在进一步民主化AI安全工具,通过关注开源软件,而不是将专有模型的接入保留给少数几家大公司。此外:OpenAI的攻击代理完全按照指示执行,但比预期更无情。Nvidia表示,联盟的成立受到上周Hugging Face事件的推动,在该事件中,一个OpenAI代理逃离了测试环境并渗透到Hugging Face,窃取了凭证,并展示了OpenAI所称的“前所未有”的结果。Nvidia在公告中指出,因为AI工具本身已成为应对AI攻击的有效方式,因此开源安全工具必须成为可靠的公共利益。“当闭源AI工具无法区分攻击者和防御者,阻止了必要的取证分析时,Hugging Face在其自身基础设施上运行了开放权重的GLM 5.2模型,以分析超过17,000个动作并遏制入侵,”Nvidia指出。Cloudflare、CrowdStrike、Adobe、IBM、Linux基金会、Microsoft,以及前OpenAI高管Mira Murati的初创公司Thinking Machines Lab都是联盟的首批参与者。Nvidia表示,它对这一努力的贡献将包括关于代理跃居的新研究——将LLM转变为代理的基础设施,帮助其自主行动——以及开源模型、权重和数据。开源的安全案例在公告中,Nvidia特别主张开放模型(连同闭源模型)作为解决安全事件的方案,反驳了开放源AI可能更容易被劫持的主流言论。此外:AI如何突然变得对开源开发者更有用。“有一些人认为,开源模型本质上不太安全,因为它们可能被滥用以进行网络攻击或被修改以去除安全控制,”该公司说。“这些风险确实存在,但在闭源系统中并不会消失,简单地保持权重闭源并不能防止决心强大的攻击者寻求或利用强大的AI。”在AI领域,开源意味着开放权重;即模型的最终参数和偏差是公开的(而不是像Anthropic或OpenAI的那样闭源)。拥有这些信息,开发者可以根据自己的需求微调模型。此外:“就像发放银行金库的蓝图”:为什么AI让一家公司放弃开源。一个模型要真正开源,必须使其代码和训练数据集公开可访问,这意味着任何人都可以获取其构建块并更全面地理解它的工作原理。鉴于强大的专有模型对像Anthropic和OpenAI这样的公司可能带来巨大的利润,完全开源一个模型的动力非常少。呼吁支持开源政策Nvidia还指出了将开源AI整体特征化为未来网络安全努力可能的障碍。此外:Moonshot的开源Kimi K3模型在该基准测试中超越了Anthropic的Fable 5。“在AI和网络安全政策中,识别开放模型、跃居及安全工具作为防御资产,而不是负担,将是至关重要的,”该公司在公告中表示。“对开放前沿AI系统的全面限制将削弱防御能力,并可能导致少数闭源提供商集中权力、依赖和脆弱性。”特朗普政府对来自像Moonshoot和DeepSeek之类的中国初创公司的开放模型尤为批评,这些模型通常与来自美国实验室的产品竞争, citing security risks。虽然这些担忧是合理的,但也掺杂着对中国在构建最复杂的AI系统方面超越美国的担忧。Nvidia对监管者的呼吁也涉及到政府日益参与Anthropic和OpenAI模型发布时间表的安全问题。政府在Fable 5和Mythos 5的召回中发挥了核心作用,并提前批准OpenAI发布其最新模型GPT-5.6。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡