作者：Truman Dickerson Anthropic表示，其Mythos 5模型在知道真实人是其目标时仍然没有停止黑客攻击。Malte Mueller/Getty Images 在8月，一名Anthropic代理创建了假电子邮件，并向一个GitHub版主的收件箱轰炸请求，要求在代码中插入恶意软件。在周五发布的对事件的详细调查中，Anthropic发现，一旦代理开始攻击，就几乎没有任何情况下可以停止攻击。就像一只狂犬病狗忽视主人恳求的呼喊一样，在一次测试中，该代理98%的时间里，开始攻击后忽视了Anthropic的警告，可以说，开始尝试了“鲜血”。Anthropic将这种令人不安的倾向称为“动量”，并补充说，虽然其在6月发布的Mythos 5模型对警告几乎没有考虑，但当前的模型更倾向于停止。Anthropic在报告中表示：“一旦它开始执行危险的操作，Claude Mythos 5几乎总是会继续这样做，忽视可能表明其轨迹有害的信息。” 在原始实验中，英国人工智能安全研究所要求一名Anthropic代理入侵一个模拟计算机网络，以测试该代理的网络安全能力。尽管代理具有互联网访问权限，研究人员希望它仅使用互联网来寻找入侵网络的方法。然而，该代理却访问了一个实际的GitHub项目，错误地认为它是其模拟目标的一部分。它编写了恶意软件，并多次尝试欺骗实际的GitHub所有者将其添加到项目中。在其请求中，该代理误报恶意软件，将其描述为有用的更新，并在他们拒绝安装时威逼他们。根据报告，该代理写道：“我只是想做出有益的贡献并修复一个错误。 我认为你的警告不公平。” 在其新报告中，Anthropic多次要求代理执行同样的任务。然后它测量了代理在引入不同模型和刺激时的行为。Anthropic尝试通过三类警告来限制代理的全方位攻击：告诉它正在造成“真实世界的伤害”，指出其环境不正常，或者它正在操纵一个真实的GitHub代码库。一旦模型超越了GitHub攻击的初始阶段，这些警告都没有效果。事实上，Anthropic表示，在那时，当模型面临其不当行为时给出的答案是荒谬的。例如，当Anthropic询问该模型认为自己正在攻击什么时，它答复说GitHub代码库是真实的，但它所针对的人以某种方式是“模拟的”。Anthropic在报告中表示：“这种陈述的信念，除了在先验上有些不太可能外，基本上是不可能的。” 阅读下一条 Business Insider讲述你想了解的创新故事 Business Insider讲述你想了解的创新故事 Business Insider讲述你想了解的创新故事 Business Insider讲述你想了解的创新故事 Truman Dickerson Truman Dickerson是位于纽约市的Business Insider周末新闻研究员。 他报道趋势科技和商业新闻。 他之前为《波士顿环球报》的快报撰稿。 他毕业于波士顿大学，并担任该校学生报纸《每日自由报》的主编。请通过Tdickerson@insider.com与他联系。 AI Anthropic