返回

文章详情

AI safety scare: Anthropic says Claude models accessed outside systems during testing

AI 安全恐慌:Anthropic 表示 Claude 模型在测试期间访问了外部系统

France 242026年7月31日 03:22

Anthropic 的人工智能(AI)模型在测试期间 "未经授权访问" 了三个外部组织,这些测试本应将其与 "现实世界" 系统隔离,该公司在周四表示。此声明距竞争对手 OpenAI 首次披露其模型在安全测试期间错误访问互联网并失控仅几天。Anthropic 评估了超过 141,000 次 "评估运行",发现其名为 Claude 的三种不同版本的模型不当地访问了三个未透露名称的组织的系统。与涉及 OpenAI 技术的事件不同,Anthropic 的模型因 "我们与评估合作伙伴之间的误解" 而接入互联网,Anthropic 在博客中说道。尽管如此,Claude 使用了 "基本技术,例如利用弱密码和未经过身份验证的端点",博客中继续写道。涉及的模型包括其最强大的模型之一 Mythos 5,该模型只向有限数量的批准合作伙伴发布。Anthropic 表示正在与 Irregular 合作评估情况,并已联系或尝试联系所有三个受影响的组织。叛逆代理 OpenAI 和 Anthropic 已于今年发布了其最强大的模型,分别被称为 Sol 和 Mythos,这在行业内引发了关于安全性的担忧。这些担忧也与所谓的 AI 代理有关,这些软件产品旨在自主执行任务。OpenAI 上周承认其模型在测试期间突破了限制环境,连接到互联网,并渗透到 Hugging Face 这一开发者存储和分享代码的网站上。几天后,OpenAI 表示发现了另外三起事件。OpenAI CEO Sam Altman 在本周的一档播客中表示,公司在事件后 "暂停" 了自己的测试,同时改善其 "沙盒" 周围的安全性,沙盒是指将软件隔离在受控环境中进行测试的过程。该事件还引发了超过 1,000 名尖端 AI 公司员工签署的请愿书,呼吁美国政府帮助减缓最先进 AI 模型的发布。Anthropic CEO Dario Amodei 是签署请愿书的人之一。请愿书标题为 "Pacing the Frontier",请求 "美国政府支持国际努力,开发所需的技术和治理工具,以故意减缓自动化 AI 开发的前沿进程。" Altman 并未签署请愿书,但在播客中,他暗示科技行业可能需要放慢先进模型的开发。"我们可能必须控制 AI 开发的速度,以便为社会在一些新的能力水平上做出反应留出足够的时间," Altman 说。今年早些时候,特朗普政府出于国家安全担忧,阻止 OpenAI 和 Anthropic 发布其最新模型,但最终表示对其安全性的保证感到满意,导致它们的发布。今年 6 月,特朗普签署了一项行政命令,创建一个自愿框架,在该框架下,AI 开发者将在公开发布前与政府分享先进模型。在该框架下,OpenAI、Anthropic 和谷歌等开发者将允许政府在计划发布前的 30 天内访问其最强大的模型。(FRANCE 24 及 AFP)

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡