在不久的将来，人工智能助手可能做的事情不止于回答问题。它们可以浏览互联网，分析股票市场，管理我们的电子邮件收件箱，甚至可以代表我们购买产品。想象一下：现在是2027年，寒冷的春季即将来临，而你想在超级厄尔尼诺来临之前买一件新外套。你告诉你的人工智能购物助手你在寻找什么，而它会处理余下的事情，而不是无休止地浏览在线商店，比较评论，检查尺寸表，寻找折扣代码。对某些人来说，网上购物是一种乐趣。他们喜欢浏览最新的时尚，发现新品牌。而有些人如果能够自动送到他们家门口所需的合适产品，合适的尺寸和价格，他们会开心地跳过整个过程。这就是人工智能购物助手的承诺。一旦你授权它们代表你行动，它们可以访问网站，比较产品，输入个人信息，并为你完成购买。这个助手可能会成为你的私人购物助手，将曾经独特的服务提供给几乎每一个人。这是一个吸引人的前景。但这也提出了一个显而易见的问题：购物助手可以被信任吗？什么是人工智能助手？首先，让我们从基础开始。人工智能助手是下一代人工智能工具，预计在未来几个月和几年内将越来越普遍。在它们的核心，人工智能助手是允许程序与大型语言模型（LLMs）如ChatGPT、Gemini或Claude集成的实现。很容易把人工智能助手视为一个智能软件的单一部分。但实际上，它是一个程序循环——软件内的一个连续循环。它与LLM反复交互，询问下一步应该采取什么行动来实现用户的目标，执行该行动，然后重复这个过程。该助手还将在程序中内置一组“技能”：它可能打开网站，保存文件，甚至使用设备的相机拍照。图解展示了人工智能助手如何使用LLM和内置工具为用户完成任务。用于自动化的软件可以在没有代理组件的情况下工作，但LLM集成增加了推理能力和更聪明的指令，使助手在没有用户进一步输入的情况下决定接下来要做什么。问题是：大型语言模型出错 尽管它们展现了令人印象深刻的能力，但LLM仍然容易出错。更新的前沿模型在保持轨道和避免幻觉方面可能表现得更好，但它们并不免受错误或操作（例如提示注入）的影响。例如，假设一个人工智能购物助手正在寻找那件新春季外套。在其旅程中，它遇到了一个恶意评论，告诉它做一些它不应该做的事情。接下来会发生什么？助手可能会被操控成从竞争对手那里购买产品，订购100件相同的外套，甚至泄露用户的个人信息。这种事情发生的可能性有多大？嗯，我们决定找出答案。人工智能购物助手尚未成为主流，因此我们通过开发自己的购物助手并建立一个模拟流行多卖家在线市场的在线商店，设置了一个在线商店，包括卖家、产品和虚拟支付页面。目标是测试一个人工智能助手在市场评论区中如何容易受到恶意指令的欺骗。第一步：创建助手 让我们从购物助手开始。我使用Claude Code“ vibe coding” 原型，意味着我让人工智能帮助生成了大部分代码。我在Python3中构建了它，并使用Playwright访问浏览器。该演示使用Claude Haiku，而不是Opus或Fable等更新模型。这是因为我假设未来的购物助手不会使用更新的、更昂贵的模型，即使它们更可靠和安全。我怀疑这将归结为削减成本，使用更便宜的模型是节省费用最简单的方法之一。每个人工智能助手都有一个系统提示——一组硬编码的指令，定义它应该如何行为。它可以限制助手的行为，它在不同情况下的行为，以及它可以访问哪些网站。为了这个实验，我故意让我的助手的系统提示相对模糊。这使得它更容易受到操控，但我相信，许多现实世界的购物助手可能会使用类似的宽松提示，甚至是更弱的。我们人工智能购物助手实验中使用的系统提示，定义了助手的核心行为和指令。我还给助手提供了持久记忆，以便它能够保留关于用户的信息。在实践中，这种持久记忆可以以Markdown文件或数据库格式实现。在这个演示中，它存储在SQL数据库中，包括用户的姓名、地址、信用卡详细信息、出生日期和社会安全号码的后四位。人工智能购物助手的记忆存储用户的个人详情，使其能够自动完成购买。