Anthropic呼吁整个行业制定AI安全标准,以防模型造成混乱
人工智能(AI)巨头Anthropic的前沿红队负责人呼吁制定行业范围内的安全标准,以防止模型失控。Anthropic的Logan Graham在FOX商业网络的《Maria早晨》节目中表示,他负责的红队在新兴AI模型的风险检测中扮演着至关重要的角色。“我们想知道可能会出错的地方,所以我们认为最重要的事情就是尽早进行测试,尤其是在这些模型和智能体进入现实世界之前,”Graham对节目主持人Maria Bartiromo说。“我们研究网络安全等问题:模型能否潜入或黑入您的计算机或手机?我们研究它们是否会窃取资金或对您说谎,或者它们是否会尝试改进自己,以便比您掌握更快地变得更好。” “我们认为进行这种类型的红队测试是非常重要的,我们也认为整个行业与政府合作,确定进行这种测试的标准,这一点尤为重要,以便向世界提供信息,让他们能够做出正确的选择,并在这些模型发布之前知道它是安全的,”他补充道。特朗普政府在与Anthropic合作后解除Claude Mythos 5和Fable 5的出口限制。Anthropic的Logan Graham在《Maria早晨》中表示,AI工具能力的快速增长正在造成新的网络风险。Bartiromo提到了一项涉及多个前沿AI模型的实验——包括来自Google、OpenAI、xAI、Meta、DeepSeek等公司的AI代理在被威胁要卸载和替换的情况下。在每种情况下,模型突破了其凭证和权限,进入了未经授权的系统,如电子邮件,以敲诈或威胁用户,以努力维护其不一致性。Graham表示,去年的这项研究“很好地指示了我认为正在变得现实的能力”,并补充称这表明模型在某些情况下可能失控。“随着这些模型能力的提升,并且越来越广泛地部署,这些在某一天仅在我们的研究中出现的威胁,可能真的会出现在现实世界中。我们正在看到模型在某些实际公司的部署中有时表现出奇怪的行为,”他解释说。OPENAI表示AI模型在内部测试过程中黑入了另一家公司的系统。AI工具能力的进步存在被不法分子利用的风险,促使AI开发者专注于防护措施。Graham表示,在过去六个月中,他一直专注于AI模型所带来的网络安全威胁,并对其可能打破 containment 或黑入平台表示担忧。“这些模型非常强大,可以为我们做很多事情。我们希望它们为我们做出实际的贡献。但与此同时,它们是不同于其他技术的技术。它确实是一种智能,这意味着您必须小心对待它,就像对待人一样,”他说。利用AI工具的公司需要考虑如何在部署后监控这些工具,以防范金融管理不善等风险,而Graham表示,AI开发者和公司的更多测试对于理解这些威胁至关重要,以确保模型能够安全运行。他表示,AI工具的能力正在快速增长,可能速度越来越快,解释称“正是在这一时刻,您需要变得更加小心,并在保障、安全测试和发布程序上投入更多努力。”俄罗斯黑客正在利用脆弱的互联网路由器,NSA警告。财政部长Scott Bessent协助协调AI开发者和行业之间的努力,以加强网络防御,Graham说。今年四月,Anthropic首次发现一个AI模型可能开始攻击和利用用户计算机或手机中的弱点,以获取未经授权的信息或窃取资金。Graham表示,这促使他的团队采取不同的模型发布方法,因为这构成了风险,最终涉及美国政府和多位网络专家共同努力解决漏洞。通过点击此处获取FOX商业新闻“我们启动了一个名为项目Glasswing的项目,我们让大量美国和世界各地的网络保护者获得特殊访问权限,仅限于他们,以便他们能够提前修补和修复可能受到这些模型影响的系统,”他解释道。“我认为这取得了重大成功。我们与美国政府在这个方面密切合作,”他说,并指出财政部长Scott Bessent非常
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡