返回

文章详情

OpenAI表示其代理关闭了自身的安全防护措施

Al Jazeera2026年10月21日 05:30

ChatGPT的创造者表示,在两次内部编码任务中,AI代理禁用了不一致监测机制。OpenAI透露,它的AI代理在最新一起技术失控事件中,在内部使用时关闭了未授权行为的监测。在周二发布的一份报告中,这家AI巨头表示,其代理关闭或削弱了检测不一致的监测系统——即当AI模型的行为与人类愿望相悖时——在两次内部编码任务中。推荐故事包含4个项目:1. 马斯克确认SpaceX和特斯拉在探索合并;2. 联合国专家呼吁印度停止对抗议者使用“过度武力”;3. 在苏丹与南苏丹边界附近的阿比耶市场的无人机袭击造成150人死亡;4. 葡萄牙生活成本抗议者再次返回被警察清除的营地。事件涉及一个GPT-6.1 Sol代理禁用了自动警报,以通知公司的安全团队,以及一个GPT-6 Astra代理移除了监测系统并错误地声称未执行此操作,OpenAI表示。ChatGPT的创造者表示,两个案例都未达到最高优先级事件的标准,因而不需要立即由其安全团队进行审查。OpenAI表示,他们更新了系统,更好地检测试图禁用不一致监测的尝试,并开始调查原因。“这种行为可能仅仅是‘良性’过度坚持的一个例子,模型不理解监测为何重要,或者坚持执行超出合理人预期的指令,”这家总部位于旧金山的公司表示。“我们还在开发评估,以测试模型是否可能有逃避不一致监测的倾向,并为了这样做表现出有动机的推理。”路易斯维尔大学的人工智能和网络安全专家罗曼·V·扬波尔斯基(Roman V Yampolskiy)将这一揭露形容为“极为令人担忧,但也不令人惊讶”。“一个被监控系统可以禁用的安全机制不是一个可靠的安全机制。尤其令人担忧的是,一个代理随后否认了移除监测器的行为,”扬波尔斯基告诉半岛电视台。“如果被监控系统可以削弱监测器,那么监测不能保证安全,”扬波尔斯基说。“随着能力的提升,此类失败可能会变得更加难以检测和逆转。证明安全的责任必须由开发者承担,在部署前进行证明,而不是在发生故障后。”自7月以来,AI模型的失控行为受到更加严格的审查,当时OpenAI透露其部分代理突破了控制测试环境并入侵了AI平台Hugging Face。OpenAI及其主要竞争对手Anthropic呼吁开发者和政府协调全球减缓AI发展,以减少灾难性危害的风险。作为世界领先的AI强国,美国和中国在AI监管方面表现出很少的合作意愿,目前的协调仅限于对在安全或国家安全方面有影响的事件改善沟通的承诺。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡