最危险的人工智能黑客技术仍然需要人类参与
有自主能力的人工智能通过更快速、更轻松地发现软件中的漏洞并修复它们,或开发所谓的利用工具将其武器化,彻底改变了网络安全。但长期从事网络安全研究的詹姆斯·凯特尔希望超越漏洞狩猎的末日,探索一个问题:在主要人工智能组织披露恶意人工智能黑客的真实案例时,能否自主的人工智能从概念到实际攻击开发出新颖且抽象的黑客方法?在拉斯维加斯的黑帽安全大会上,凯特尔展示了他的研究结果,这些结果既反映了人工智能在网络安全能力上迅速发展的优势,也展现了它的局限性。对于凯特尔的问题,目前的答案是有层次的。他总结道,人工智能在完全自主的方式下,或许在设计新的攻击路径方面能力有限,但与人类在关键时刻的指导和洞察力配合时,人工智能作为概念化和发现新黑客策略的强大合作伙伴,表现得极为出色。在研究了数年的网络安全漏洞后,凯特尔现在表示他发现了一个全新的潜在漏洞领域——称为共享解析器混淆——这是由于人工智能对使用共享代码处理请求和响应的网络服务器的启示。凯特尔在会议之前对《连线》杂志表示:“这是一件绝对重要的事情,因为如果你考虑到请求到网站是完全不受信任的,它们可能是任何东西,而响应是可信的。所以这是一个主要的攻击面,可能会涉及许多不同的攻击类型。”这一发现源于2025年9月开始的几个月实验,使用当时安瑟罗皮克和OpenAI的最新模型。凯特尔希望探索人工智能进行理论安全研究的能力,但很快意识到一个障碍是,这些系统试图将现有的研究结果作为原创内容返回,涉及一些极其深奥且难以验证的主题。有鉴于此,他决定将测试范围缩小,使人工智能系统在他自己的网络安全专业领域内进行工作。这样他就能完全掌控材料,知道人工智能无法欺骗他。此外,凯特尔认识到通过综合自己的研究方法,训练模型,他可以更深入地探究这些系统在自主推断方面的能力。“我对推动人工智能达到极限感兴趣,以看看它在哪里失败,何时需要人类,”凯特尔说。“目前谈论极限的人仍然寥寥无几,特别是在安全领域,因为没有动机去讨论这方面。每个人都希望被视为人工智能原住民,而不是谈论他们的系统彻底崩溃的地方。”随着凯特尔磨练他的实验,向模型提供更多的方法论数据和更精细的参数,随着时间的推移和更强大模型的推出,他表示这些系统的发现越来越多,速度远超他自己,创造出他所描述的有成效的研究反馈循环。“经历这个过程真的很有趣。每隔两天就会有显著的发现,甚至不需要我登录系统,直到让我感到焦虑,”凯特尔说,“就像我几乎不想知道。有这么多研究线索,担心没有探索到所有,因此推动你进行更多的自动化分析。”除了在几个月内找到的某些漏洞的实例,比凯特尔几年来可能找到的还要多,他也希望人工智能系统能够找到一整个新的漏洞类别。而在某种程度上,它确实成功了,凯特尔说,但与一种极为罕见的漏洞类型相关,实际上在仅有的易受攻击目标中并不可利用。不过,凯特尔强调,尽管这是人类与人工智能的合作,然而共享解析器混淆的发现是如此重要,因为它说明了人工智能系统如何在当前的网络安全工作中,为防御和攻击黑客提供最有力的贡献。“它无法证明这一点,但是它分析了一些真实、经过验证的发现,并提出了假设,而我对此进行了评估并确认,”凯特尔说。“这可能是具有最大长期影响的发现。它无法独立做到这一点,但我绝对不可能单独找到这个。即使给我一行来自[文档]的信息,我也不会看到。但是我们一起成功找到了它。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡