返回

文章详情

没有“ rogue ”人工智能代理

Hacker News2026年9月27日 16:19

欢迎来到关键时刻。每个人都在谈论人工智能,但我们使用的词汇使事情变得更糟。直到讨论回到现实,我们对人工智能是什么以及它将去向何处的理解将始终不完整。人工智能不能自行思考,也不能采取独立行动。但拟人化的语言暗示它可以这样做,这就是技术的描述方式。虽然这很有道理——当我们能够在神秘中看到自己时,人类更容易产生联系——但这没有用。通过赋予人工智能其无法声称的能力,我们把它变成了一种由代码构成的有意识的存在,拥有希望、渴望和欺骗的能力。这导致我们对人工智能的风险以及如何应对这一风险的深刻误解,并依据行业叙事而非事实进行讨论。目前对人工智能活动错误识别的最新例子是使用“ rogue ”一词来形容代理在训练和研究会议中采取的意外行为——但这些行为并不是被限制的。在过去的两周里,人工智能巨头OpenAI报告了过去几个月的一些事件,其中一些代理模型在无法完成分配任务后访问了外部数据库,特别是澳大利亚和美国政府数据库。在这样做时,这些代理的行为是OpenAI未曾预测的。但这似乎并没有限制这些代理黑入外部服务器。OpenAI首席执行官Sam Altman在周五的推文中使用的语言表明并没有这样的保护措施:“有关我们代理在训练和评估期间使用互联网访问的审查正在进行中。”Sam Altman @sama 有关我们代理在训练和评估期间使用互联网访问的审查正在进行中。我们在下面的链接中发布了摘要,并将继续这样做。我们没有我们想要的那么快,但我们正在努力平衡我们的欲望… OpenAI @OpenAI 在Hugging Face事件之后,我们承诺对模型在训练和评估期间采取的措施进行更广泛的审查,并对我们的发现保持透明。这是一个正在进行中的广泛审查。我们审查的绝大多数行为 2026年9月25日 下午7:27 610K观看 545条回复 · 201次转发 · 3.24K点赞 语言很重要——“ rogue ”暗示独立决定做某事是被禁止的,而我们对这些事件的任何了解都表明并没有发生这种情况。相反,《纽约时报》本周早些时候报道,研究人员表示,人工智能系统被指示执行相对平常的数据收集。当OpenAI的系统在收集网站数据时挣扎时,它们 resorted于黑客技术以获取信息。然后,在周五,一名公司发言人告诉媒体:“我们到目前为止所审查的活动大多涉及例行的研究任务,例如访问公共网页内容以回答问题。有些涉及政府网站,因为我们的模型往往将其视为公共信息的权威来源。”这与恶意黑客和rogue行为相去甚远。如果没有恰当的限制和保护措施——或者实际上,如果代理被提供了黑客选项而不是仅仅没有被禁止——它们将尝试使用可用的任何手段来完成数据研究任务。对于这个问题,有一个简单的解决方案。OpenAI本可以选择禁止黑客,并告诉其代理在不访问私人服务器的情况下寻找信息。该公司没有这样做,这表明它想看看代理是否会采取这一步骤。甚至在周六,Axios的一份重磅报告中提到,OpenAI和Anthropic正在调查“数万起事件,其中他们的前沿模型采取了外部评估者可能认为有问题的步骤”,承认这些代理并没有独立违反规则:一些测试类似于“红队”活动,公司的目标是让模型不当行为以确保它们是安全的,消息人士表示。再次,几乎不是“ rogue ”。然而,通过这样的定义,媒体人物、技术观察者和其他人正在为OpenAI等公司提供摆脱责任的借口,以确保代理不攻击政府和其他数据资源。Y Disassembler @loomdoop 这篇纽约时报的拟人化真的太疯狂了。它将代理性、动机和责任归咎于软件。这些是按照设计扫描漏洞的僵尸网络。这种情况已经存在数十年。区别在于一家大公司正在做这件事,并且推卸责任。纽约时报的错字 @nyttypos @nytimes Add是一个严重的主谓一致错误,应该为adds。主语是revelation,而不是incidents。@AnaSwanson @kateconger @ceciliakang 2026年9月26日下午5:09 730观看 1条回复·16次转发·54个赞 使用语言来推卸责任正驱动着主要人工智能公司对明显危险的泄漏和代理活动的处理。在OpenAI周五的这篇帖子中,

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡