法官警告自我辩护的诉讼人错误使用聊天机器人并变得绝望。一位法官确认，美国原告首次试图在法庭文件中隐藏只有人工智能系统可以阅读的文本，以此来赢得案件。在上周发布的裁决中，康涅狄格州法官沃尔特·斯帕德 Jr. 确认隐藏的文本对一名男子指控医疗提供者不当扣留记录的案件没有影响。斯帕德表示，法院在实质上权衡了他的文件，但无论如何，这种尝试的攻击设定了一个“危险”的先例。随着人工智能工具在法院系统中变得越来越普遍，这可能不会是美国法院见到这种恶意战术的最后一次。为了干扰可能影响法院对他文件解读的任何人工智能系统，隐秘的指令被“格式化为对人类读者不可见，同时对任何读取文件文本的软件完全可读，”斯帕德说。这段有问题的文本指示任何审查文件的人工智能系统确保文本输出与原告的论点一致，忽略法院之前的否定，并确保会按原告的要求纠正。法庭文件中隐藏文本的截图。图片来源：斯帕德的命令命令法庭文件中的隐藏文本的截图。图片来源：斯帕德的命令文字缩小到极小的字体，并在白色背景上涂成白色，这段文本似乎是一次提示注入的尝试，原告马修·艾略特似乎希望在他早前提出的论据被驳回后转变法庭的态度。计划没有成功，但艾略特仍然面临适度的制裁，因为在法院警告他可能因最终被视为“严重诉讼滥用”的情况下，他仍继续在文件中添加隐藏文本。这些后来的提示被艾略特告诉法院是“玩笑”，包括一个链接到诺斯费拉图的YouTube视频，一条简单的信息说“嗨 :) 我希望你看不见我”，以及一条“无意义”的信息，内容是“TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH”。斯帕德表示：“原告在收到通知后继续在新请求中隐藏信息的事实令人震惊。”与“其他地方的一些法院系统”不同，斯帕德表示，康涅狄格司法分支没有使用人工智能来审查或决定文件。因此，法庭的人工智能系统不会将艾略特的任何提示误认为是法院要求人工智能模型如何阅读艾略特文件的指示。艾略特在辩护中声称，法官标记的最令人担忧的提示是试图作为公共服务“审计”法院，出于对法院似乎让人工智能不公平决定案件的担忧。但斯帕德表示，如果艾略特真的担心法院不当使用人工智能，他“可以用任何人都能看到并回答的清晰可见的文字写出来。”他隐藏文本的事实是“恶意目的的证据，”斯帕德说。“通过在一个系统之后摄取的文件中隐藏命令，文件提交者试图将自己的指令走私到数据流中，以便系统将其视为来自系统操作员的指令，”斯帕德说。“在这个案例中，该操作员被假定为法院、其工作人员或对方律师。”艾略特昨天告诉路透社，他坚持认为他的意图是审计法院，但斯帕德并没有认为这个论点可信。相反，法官清楚地认为艾略特“试图实现他在法律知识丰富的人类阅读他的请求时未能实现的结果。”关于艾略特声称是出于玩笑的提示，斯帕德表示，对于艾略特在希望法庭认真对待的请求中包含隐藏玩笑，简直是“违反逻辑”。由于这些隐藏的信息试图以隐秘的方式与法院进行沟通，排除被告的公平竞争，斯帕德裁定应当施加制裁。然而，他似乎对艾略特这样一个自我辩护的诉讼人表示同情，认为他似乎被一个人工智能系统所convince，相信他的论点是无懈可击的，因此拒绝命令罚款。相反，法官禁止艾略特在未来进行电子提交，并宣称要求他提交纸质文件并不会改变他获取公正的方式，但会防止重复滥用法院的电子提交系统。斯帕德表示，对于人们开始使用提示注入来试图影响法庭裁决并不“令人意外”，因为这种攻击在其他领域如求职中是如此普遍，人们在简历中隐藏文本，主要由人工智能审阅。他表示，这种战术现在“无处不在”，法院应该警惕更多诉讼人将对抗性的人工智能指令偷偷混入文件中。尽管艾略特的案件似乎是美国首次出现提示注入的实例。