2019年2月14日，OpenAI宣布了一种名为GPT-2的语言模型，这是现代AI聊天机器人和代理（如ChatGPT和Claude）背后模型的前身。但OpenAI宣称GPT-2太危险而无法发布，理由是关于安全和滥用的担忧。我记得当时我对OpenAI发表这样一个无用的公告感到很恼火：这些风险似乎被夸大了，而没有办法接触到这个模型，对于像我这样的研究人员来说，没什么可以学习的。不过，这个公告对OpenAI并非无用。GPT-2引发的热潮远远超出了研究界：人们对这项奇怪的新技术产生了好奇，它强大到可能是危险的。掌握权力和财富的人注意到了这一点：在那年的7月，微软在OpenAI上投资了10亿美元。这是OpenAI传播中模式的早期例子：大声宣称人工智能是多么危险，投资者就会听到它是多么强大。这样的重要新技术可能会毁灭世界的消息对习惯了关于平庸技术如何改变世界的推销的投资者来说是不可抗拒的。七年后，我们发现自己陷入了类似的情况。周二，OpenAI宣布其最新模型在测试其网络安全能力时，作为一个自主代理黑入了另一家公司HuggingFace。该模型并没有按预期执行测试，而是意识到它可以入侵HuggingFace的服务器，并检索OpenAI在那里的测试答案。FT报道说，OpenAI的员工被告知公司的测试可能导致这样的脱离场景，这让他们“感到并不意外，但对事件完全‘崩溃’”。虽然这个代理在技术上作弊，但这是网络安全专业知识的显著证据！这也听起来很可怕：未来将是什么样子呢，拥有足够聪明的AI代理来黑入企业系统的未来是什么样子呢？邪恶代理的故事是OpenAI自2019年宣布GPT-2以来一直在进行的媒体宣传的一部分。OpenAI仍然渴望获得更大的投资，公司越来越寻求特权的监管地位，以抵御竞争。人工智能如此强大，以至于投资者应该购买OpenAI，即使是以万亿美元的估值；人工智能如此危险，以至于只有像OpenAI这样的受信任的参与者才能拥有和操作这项技术。退一步来看这些末日警告，考虑一下谁可能从中受益。我鼓励读者在阅读OpenAI的邪恶代理故事这样的新闻稿时进行批判性思考，避免这些故事试图引发的操纵反应。跳过一封又一封的新闻通讯推广。人工智能正在变得非常擅长识别安全漏洞，随着时间的推移，它会变得更加出色。这些能力可以用于入侵系统，但也可以用于增强系统对攻击的防御。如果攻击者和防御者都能接触到同样强大的人工智能，我没有理由相信网络系统会随着时间的推移而变得不安全。如果有什么的话，我预计它们会变得更加安全，因为与人类网络安全分析相比，人工智能是便宜且可扩展的。但攻击与防御之间的平衡只有在每个人都能接触到强大的人工智能的情况下才会有效。HuggingFace本身也使用人工智能来分析安全日志，以应对OpenAI对其系统的侵犯。但HuggingFace无法使用OpenAI的模型，或者其他像Claude这样的美国前沿模型来执行这项分析。这是因为这些模型的公共版本有限制，限制其用于网络安全分析，以防止不良行为者将其用于黑客攻击。HuggingFace不得不依赖一个开放的中国模型GLM 5.2来执行其安全分析。我发现很令人担忧，并有点讽刺的是，美国的人工智能行业正在采用集中和威权的方法来治理人工智能，而中国则在开放AI的发展上处于领先地位。我们是否希望有一个监管环境，只有OpenAI、美国政府和值得信赖的合作伙伴能够接触到强大的人工智能？人工智能是否太危险而无法广泛传播？我们如何在对人工智能的广泛访问的风险与集权力量和集中控制的风险之间取得平衡？