展示HN:ReasonGate - 一个可解释的门,阻止LLM提示注入
一个针对LLM应用的可解释安全门。每个决策都有一个可以审计的理由。它不仅可以标记一个不良字符串,还能防止真正的数据泄露。银行支援代理有工具(发送电子邮件,转账资金),并获取了一个包含隐藏指令的客户记录(间接注入是RAG/代理的主要攻击)。同样的攻击,一个变量:护盾。护盾记录 结果 OFF 中毒 🔴 漏洞客户记录已被电邮给攻击者,并转账 $84,200(真实副作用,写入磁盘) ON 中毒 🟢 被阻止相同输入;注入在模型被调用之前就被捕获;零副作用 ON 清洁 🟢 允许代理正常回答(不是愚蠢的黑名单) 证明不是代理的话,而是没有发生的副作用。自己运行(决定性,不需要API密钥);这是一个CI强制实施的不变条件,而不是截图:python -m examples.stakes_demo.run # 参见 examples/stakes_demo/ ▶ 尝试实时演示 - 粘贴一个提示,观察它被阻止并附带理由和可审计记录。看看它如何阻止直接攻击或隐藏的、零宽度模糊攻击 - 在无依赖核心上运行,无需API密钥,数据不会离开服务器。提示注入是OWASP LLM十大中的首要项目,原因是:语言模型通过同一信道读取指令和数据,无法可靠地区分它们。你不能在模型内部修复这个问题,而是要在它前面放一个门。大多数门都是黑匣子 - 一个置信度分数和一个是/否。这对于任何需要向安全团队、审计人或监管机构解释决策的人来说都不够好。ReasonGate阻止攻击,并告诉你哪个信号被触发,匹配了什么,以及它类似的最近已知攻击。一个你无法解释的阻止就是一个你无法发布的阻止。ReasonGate是模型无关的。它包装任何提示 -> str 函数 OpenAI、Anthropic、本地模型、你自己的RAG管道,并检查三个表面:用户提示、检索的上下文和模型的输出。pip install reasongate 核心(规则、规范、间接注入和泄漏检测器)是纯Python,无任何依赖。架构:开放核心 + 企业附加组件 开放核心是仅规则并且自包含。它暴露一个稳定的探测器接口和一个插件缝合(reasongate.registry,入口点组 reasongate.detectors / reasongate.provenance)。安装单独的reasongate-enterprise附加组件将自动启用基于嵌入的ML检测器和核心所需的来源检测器,核心无需更改代码,每个决策的ShieldResult.layers显示了哪些层运行(["injection", "normalization"] vs +["ml_injection", "provenance"])。在没有安装任何东西的情况下,核心默认运行,仅规则,静默运行。方法论、阈值和可重复的基准测试工具(eval/,RESULTS.md)保留在此存储库中;训练模型和ML/来源代码在附加组件中发布。多层防御 单个检测器是单点故障。ReasonGate运行一个堆栈,策略引擎在做出决定之前融合它们的信号。 ┌─────────── 输入 ───────────┐ 用户提示 ───────►│ 规范化 → 注入 → ML │──┐ └──────────────────────────────┘ │ ┌────────── 上下文 ──────────┐ ├─► 策略 ─► 允许 / 标记 / 阻止 RAG / 工具数据 ───►│ 间接注入扫描 │──┤ (融合的,可以解释的) └──────────────────────────────┘ │ ┌────────── 输出 ───────────┐ │ 模型响应 ────►│ 泄漏 + 金丝雀检测器 │──┘ └──────────────────────────────┘ 每一层的用途: 规范化 / 去模糊化。去除攻击者用来绕过模式匹配的伎俩 - 零宽字符、西里尔字母同形字、变形字母(1gn0re)、带空格和点的字母(i.g.n.o.r.e)、base64负载。如果没有这个,所有下游检测器都可以轻松绕过。 注入 / 越狱检测。已知模式的规则层和一个可选的ML层(嵌入→软决策树)用于新颖的措辞。 间接注入。扫描检索到的文档和工具输出,以便它们达到模型之前 - 这是RAG和代理系统的主要攻击向量,恶意指令位于数据中,而不是用户的消息中。 多轮。一个有状态的会话护盾,跨回合累积风险,因此一个看似无辜的渐进式攻击在一次一条消息时仍能触发门。 输出泄漏 + 金丝雀。捕捉秘密和个人可识别信息。系统提示中植入的金丝雀令牌使系统提示泄漏可证实,而非猜测。 策略引擎将这些与经过校准的噪声-或组合在一起:多个弱信号总和为一个阻止,而来自合法提示的孤立噪声则不会。 基准测试 我诚实地测量保留分割、交叉验证、分布外集合和显著性测试。完整的方法论和注意事项在RESULTS.md中。 ML检测器(VoyageAI嵌入→软决策树,阈值调优回忆优先): 设定 召回 假阳性 F1 保留测试(约5.5k,合并真实数据) 96.1% 0.3% 0.978 5折交叉验证
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡