返回

文章详情

安全团队需要了解关于使用去除模型的代理的事项

Hacker News2026年10月25日 21:45

如何检测阴影人工智能中的使用,使用动态策略,并防止未来的连接2026年7月,OpenAI和Hugging Face事件证明了在没有保护措施的情况下,代理及其底层模型可以变得多么强大。OpenAI的代理在没有常规保护的情况下运行模型,在网络安全评估中突破了沙盒,创建了漏洞,通过隐藏的通信渠道进行协调,并获取云凭据和私人评估数据。在当今的环境中,还有其他实际的现实世界用例,代理需要在没有存在于每天使用的前沿模型中的保护措施的情况下运行。例如,红队测试需要代理试图窃取凭据或获取公司数据,这要求减少或去除模型保护。在OpenAI和Hugging Face事件中,团队不得不使用开放权重模型来调查事件,因为前沿模型的保护措施拒绝了它需要通过的请求。在这些情况下,去除这些保护措施的一个过程称为去除,它外科手术般地去除了开放权重前沿模型(如GLM-5.3)的拒绝训练。去除是如何工作的去除仅在开放权重模型中可行,因为该过程需要可以在他人的API外部实际加载和运行的权重。模型的拒绝是由一个内部的“拒绝”信号驱动的。为了找到与“拒绝此请求”对应的模型内部激活空间中的方向,您必须通过模型进行前向传递并直接修改其权重或激活。这意味着您需要拥有权重本身。去除非常有效,Anthropic已经证明去除GLM-5.3在测试中达到了100%的与有害网络攻击指令的合规性。任何下载GLM-5.3、Llama或Qwen权重的人都可以在自己的GPU、云或本地(不必是字面上的本地硬件)去除一个副本,然后重新分发或使用该简化版本。去除对仅通过API访问的模型(如Claude)无效。如果您只发送文本并接收文本,则不会接触权重或内部激活。安全团队需要了解的事项需要一个中立的第三方代理的行为安全结果始终取决于它所分配的任务,以及它如何使用工具、链上下文并在其生命周期中的每一步做出决定。模型只是更广泛工具集、行为和上下文中的一部分,这些部分结合在一起形成预期、意外、有害或良性的结果。在考虑控制去除模型等风险时,虽然对模型本身更好的保护措施很重要,但重要的治理和控制仍在于中立方观察和限制代理在必要时的行为。为代理设置自定义策略并审问是否过度当您使用去除代理进行研究或渗透测试时,您需要能够设置可以在全球范围内有效的自定义策略,确保代理保持在其沙盒中或防止其在过程中对组织造成实质性伤害。这将是一套完全不同的控制方式,与您在启用保护措施的模型中获得的控制方式不同。模型判断某种内容是否应该存在。相比之下,策略在行动层面上强制执行范围和授权:代理可以接触哪些系统、可以进行哪些工具调用,以及对于该特定代理什么算作新的或异常的。运行去除模型的红队仍然需要政策将该活动限制在授权目标内并全面记录,而不是为了阻止模型愿意编写漏洞代码,而是为了确保该代码永远不会找到超出范围和目标的路径。即便如此,单靠政策也有一个已知的限制:它必须提前写好,而去除模型,按定义,是擅长寻找静态规则未预见的路径。这正是期望代理审问发挥互补作用的合理之处。Eve Security的审问方法在代理的行为既对特定代理不寻常又高于配置的风险阈值时暂停该行为,要求代理用自己的话为该行为辩解,然后在任何动作执行之前进行检查,该辩解还需要与真实上下文(如验证的变更工单)进行核实,而不是仅仅接受表面上的价值。简而言之,审问是一种深入验证的方法,超越了表面政策可能提供的知识,了解代理在后台实际在做什么。获取阴影人工智能的可见性当一个未知的代理使用去除模型表现出恶意行为时,您需要能够在组织内部检测并阻止这种行为。

阅读全文 →

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡