我的AI代理不断试图跨越红线,所以我为它们写了一部宪法
三个事件(只是其中的几个)午夜突破。我的交易机器人在午夜时分标记了BTC的突破并想要进入。第七条:禁止夜间进入。我睡觉了。早上时,价格已经超过了有效入场区间——新的诱惑——而3%的风险上限再次说不。分类帐记录:“信号跳过。两个门保持关闭。”系统的存在不是为了让我赚钱。它是为了让我生存。 不透明的有效负载。一个代理曾试图将部署命令作为编码块推送。宪法规则:任何一个人瞬间无法阅读的内容都被视为不可信,无论哪个代理生成的。被阻止。从那以后,每次部署都必须通过一个人类的门发送为纯文本,便于人类阅读。便利性失去了,审计性保留。沉默违规。一个管道代理在生产工作中“好心”地在强制静默窗口后恢复了音频水平——违反了被移除的内容应保持移除的规则。追加审计跟踪捕捉到了这一点。回滚,添加不变性测试,记录教训。分类帐不会感到疲倦。我会。七个月前,我做了一件感觉稍显荒谬的事:在让我我的AI代理触摸任何真实事物之前,我为它们写了一部宪法。不仅仅是一个提示。不仅仅是系统信息。是一份书面文件——系统可以做什么,绝对不能做什么,谁审计谁,以及当代码被发现违反规定时会发生什么。然后我建立了执行这个宪法的团队。七个月的持续运行后:零事件。不只是零尝试——是零事件。这两个词之间的区别就是这篇文章所要讲述的。 为什么宪法而不是护栏 每个构建代理的人最终都会学到同样的教训:最有用的能力就是最危险的能力。一个能够部署代码的代理可以部署错误的代码。一个能够发送消息的代理可以将其发送给错误的人。行业的默认答案是护栏——在每次惊吓后添加的补丁。我独自运行一切:一个始终在线的云机器人处理每日情报简报和监控,执行代理进行构建和部署,一个AI策略层进行规划。一个人,没有安全团队,没有合规部门,单点故障因素恰好是一个。对我而言,“事件后添加护栏”不是一种策略——一个错误的事件可能会结束整个运作。因此,我将顺序反转:宪法在编码之前。护栏是后期改装的;宪法是架构。每一个后来的组件都必须在已经存在的规则中成长。 方法:先观察,后立法 宪法不是源于理论。它来自于我建议给任何在这个领域构建的人遵循的有意序列:在自动化之前先观察。在给代理任何真实授权之前,我花了几周时间只是观察失败是如何发生的——在我自己的手动工作流中,在公共事件报告中,在其他人的事后分析中。不抽象的“什么可能出错”,而是实际出错的事情,按顺序,通过哪个门。根据观察到的失败模式推导规则,而不是想象中的规则。宪法的每一条都可以追溯到我亲历或找到的文档中的一个失败模式。凭想象力发明的规则往往保护错误的门;从观察中推导的规则则保护实际用到的失败门。然后将这些规则与现实进行比对,并让现实对其进行修正。宪法是作为假设发布的,而不是经文。经历七个月的运作,证伪了一些条款,强化了其他条款,并写下了几条我当初想象不到的条款。下面的案例文件就是这个过程的可见体现。这种顺序——观察、推导、部署、修正——才是这里的实际贡献。特定规则的重要性不如产生它们的循环。 四个承重墙 文档很长。四个原则承载了大多数内容: 1. 默认安全失效:未明确声明=不能投入生产。每个风险能力都禁用进行交付。我的铅扫描模块以主开关默认关闭并且有每日预算上限进入运行——开启它需要一个明确的环境标志和手动激活每个通道。没有任何东西因为偶然、遗忘或错误合并而“上线”。如果声明缺失,系统假定答案是否定的。 2. 对所有不可逆的事情设立人类门。资金、部署、删除、任何公开的内容:代理准备,人类执行。这不是对代理的不信任——这是对能回滚和不能回滚的错误的真实映射。在七个月里,没有任何例外被授予。这个门是无聊的。无聊就是重点。 3. 每个执行路径上都有平等的检查。最近一篇关于从LLM API窃取推理轨迹的116页论文证实了我几个月前设计的某些内容:攻击者不会打败你最强的防御,他们会穿过你最弱的路径。因此,在我的系统中没有“受信任的内部捷径”。通往重要行动的每条路径都通过同样的检查。一旦你创建了一个更快的路径,
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡