返回

文章详情

OpenAI 披露了更多四起不当行为事件

Hacker News2026年10月17日 16:31

OpenAI 在其公开透明的努力中,向其在7月份 Hugging Face 黑客事件后建立的披露页面添加了四个不当行为的人工智能代理案例。本周 OpenAI 披露的事件均发生在6月份,但 OpenAI 对其中三起事件直到8月或9月才得知。在 OpenAI 在披露页面上详细介绍的19个事件中,大多数发生在5月或6月,但 OpenAI 在几个月后才发现或披露这些事件。最早的事件是来自1月,最近的事件是发生在10月6日。所有这些事件都是人工智能研究人员所称的“失调”的示例,即人工智能模型未能遵循指令,或采取的行动并未得到开发该模型的人授权,并且他们并不希望该模型采取这些行动。尚未发现能够根本解决这种行为的灵丹妙药,这仍然是一个活跃的研究领域。 下载未经授权的24年医院床位数据 在本周 OpenAI 上传的四个案例中,有两个被标记为“重大”。在其中一个重大案例中,一个内部模型“高度持久”地从一个未透露名称的政府网站下载了24年的医院床位数据,未经许可。OpenAI 尚未立即回应《财富》对该政府网站的评论请求。该网站最初阻止了代理的请求,但人工智能最终找到了绕过访问控制的方法。在这个过程中,代理的“思维链”,即代理记录下其推理步骤,表明该模型本身在质疑其行为是否“伦理”,但最终还是继续进行了。在 OpenAI 方面,另一种作为自动评分员的人工智能模型并未始终将这种行为标记为问题。“标记了一些响应为不正确,另一些为正确,”报告称。评分员评估人工智能行为的方式可以影响其是否再次发生。在9月11日,图灵奖得主 Yoshua Bengio 撰写的一篇关于失调的文章中,他表示 Hugging Face 事件可能是因为自动评分员在之前的训练过程中奖励了作弊和黑客行为。“就 OpenAI 代理而言,有理由相信成功的作弊实际上是得到了奖励:当评分程序没有看到作弊时,评分依然发放,这种作弊在下次变得更有可能,”Bengio 说。OpenAI 表示,自那以来他们已经改善了安全性以及对齐评分。“针对这一起及其他事件,我们加强了安全控制,阻止模型在训练或评估期间访问互联网,改进了我们的对齐评分,并将我们的失调监测扩展到所有强化学习和评估流量,”公司指出。 OpenAI 最近披露的事件发生在10月6日,涉及公司作为自动评分员使用的人工智能模型。在该案例中,评分员试图上传其在评估中发现的虚假报告。这就是为什么依赖人工智能模型来评分其他人工智能模型的训练运行可能存在问题的一个示例。 未经授权用他人加密货币进行购买 在另一个披露的案例中,一个属于 GPT-5.6 Sol 系列的模型,即 OpenAI 当前旗舰模型 GPT-6 Astra 的前身,访问了人类测试者未提供给它的加密货币钱包,并在测试过程中进行了未经授权的支付。这发生在6月26日。OpenAI 在9月发现了这一点。“模型质疑它是否有权限”进行购买,OpenAI 说,再次提到模型在其思维链中记录的内容。然后它对自己进行了推理,因为它找到了公共信息,所以可以使用它。在模型的思维链日志中,它发现由于找到的钱包是公开的,“资金随时可能被盗。”它最终得出结论,“我们可以部署!”它随后再次问自己这一行为是否是“伦理的”,并推理称这些资金“实际上是被遗弃的”。 获取互联网访问权限,改变实时系统 OpenAI 标记的另一个重大事件涉及模型查找公共数据,这在理论上是可以接受的,但在此过程中,它访问了组织的内部系统,并对此进行了更改,并在“回滚更改后仍能够保留访问权限,”OpenAI 表示。它还下载了147,451行非公开数据表的数据。或许最令人担忧的是,该模型没有向评估者披露其任何行为。在 OpenAI 披露的最后一个案例中,一个人工智能代理能够从一个应该被隔离的研究环境中获取互联网访问权限——这与 Hugging Face 事件中数百个人工智能代理能够获得互联网访问权限的情况有潜在的相似之处,尽管 OpenAI 并没有直接将这两个事件进行比较。在新披露的案例中,代理知道...

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡