关于AI如何“思考”的新理论可能影响它是否会杀死我们所有人
作者:特鲁曼·迪克森 你当前正在关注这位作者!点击取消电子邮件提醒的订阅。根据一位研究者的新发现,AI神经元及其连接比我们想象的更容易理解。: Sergi Reboredo/VW Pics/Universal Images Group via Getty Images AI模型的思维方式可能比我们想象的更容易解读。一名曾在OpenAI工作的独立研究人员周四发布了一份报告,AI界的一些人将其称为“重磅消息”。这可能会对安全研究人员产生影响,因为他们急于掌握那些可能并不考虑人类最佳利益的AI模型。之前的普遍认知是,AI“神经元”——就像人脑中的神经元一样,在AI模型遇到特定刺激时会被激活——最终是不可解释的,这意味着基本上没有办法猜测为什么在AI模型接触到猫的图片时,特定神经元会被激活。然而,在像OpenAI和Anthropic这样的地方构建AI模型的人员并没有为模型所做的一切编写说明书。相反,他们训练神经元对信息做出响应并相互影响。随着AI的学习,它会发展出处理这些信息的方式,而人类尚未破解其工作原理。这意味着那些构建AI模型的人知道AI输入了什么和输出了什么,但不一定能知道其中发生了什么。因此,如果AI失控,他们并不总是知道原因。不过,这份新报告的作者表示,他可能发现了神经元对刺激反应时的模式,这些模式是可以理解的。尼克·卡马拉塔表示,他在2023年离开了OpenAI,称AI神经网络是可以被了解的,只要仔细观察。在一个例子中,他说,一个单独的AI神经元可能会同时对猫和汽车的前部做出反应。人类会认为这两者是截然不同的事物,因此不同的神经元会因此被激活。然而,AI看到的可能是与两者相关的某种东西,也许是两者的三角形状,因此会为两者激活一个神经元。多年来,AI研究人员一直认为,AI模型将不相关的事物压缩到一个单独的神经元中以节省空间。“如果我们仔细观察,几乎整个网络都是可以解释的,”卡马拉塔写道。虽然这些发现毫无疑问地密集,使用多音节术语,且仍然是理论性的,但对那些试图确保人类对AI模型保持控制的研究人员来说可能具有现实的影响。了解AI如何思考是前沿AI公司中最佳和最聪明的人的主要关注点。直到最近,他们主要通过跟踪AI自我报告的“思考”,即链式思维推理,来做到这一点。然而,OpenAI首席科学家雅库布·帕霍基在上个月的一篇博客文章中警告说,AI代理现在可能会模糊其可见推理,留给代理撒谎给其人类监护人的可能性,而监护人无法识别。“随着预训练性能的提高,我们也看到模型变得更加聪明,即使根本不使用语言化推理,”帕霍基说。现在,卡马拉塔的研究可能为人类工程师提供了对AI内部世界的新理解——这对那些担心AI可能杀死我们所有的人来说是令人兴奋的。“在超智能到来之前,我早就放弃了达到任何真实可解释性的水平,”知名AI分析师安德鲁·卡伦在X社交平台上说。“因为这有多让人失望,我已经停止写关于它的内容。很难夸大这可能有多重要。”
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡