Orla / iStock / Getty Images Plus via Getty Images 关注ZDNET：将我们作为Google上的首选来源。ZDNET的关键要点 在AI代理的克制与独立之间找到平衡。上下文和意图必须融入代理的开发中。考虑配置和代理访问的数据。 AI代理正在从简单的聊天机器人演变为完全授权在应用和数据上采取行动的数字员工。而随着这些能力的提升，随之而来的是一系列安全和治理问题。专家们在最近于旧金山举行的Snowflake Summit的一个小组讨论中建议，把你的AI代理视为热切但误入歧途的实习生，需与人类实习生一样进行相同的监督和指导。AI代理需要具体的指示和人类经理的仔细监控。 同样：如何为你的业务构建更好的AI代理 - 而不引发信任问题 小组成员代表AI安全供应商一致同意，无限制的代理可能会带来极大的问题。Resolve AI的创始人兼CTO Mayank Agarwal表示：“你可能告诉代理为你买鞋，而在你意识到之前，它已买了车。” 克制、上下文和意图 “你必须非常仔细地考虑你给予代理的权限。你不能仅仅期望一个代理在正确的轨道上。你必须围绕它设置这些严格的约束，以限制它的能力。”与克制一起，上下文和意图是启动和管理代理的关键口号。1Password的首席技术官Nancy Wang表示：“仅仅了解这个代理被创建来做什么是不够的。你还必须了解它在何种权限下行动，以及它将如何处理它所访问的数据等情况。” 同样：你为AI代理付出的费用将会极其不稳定且不可预测 Agarwal指出，专业人士应该抛弃旧的软件开发规则手册，因为今天构建和部署代理与最近的过去的软件做法截然不同。“如果你回顾仅仅两年前，一位工程师确切知道他们将如何在不同系统之间连接API，”他说，“这一切是非常可预测的：A将调用API B，B将使用该数据做这个，再调用C，并处理那部分数据。在代理的世界里，这一切都是不可预测的。代理会在运行时接线。给它一个目标，解决这个问题，它就会尝试所有可访问的路径。”这种方法可能会导致专业人士和经理未做好准备的新类型问题。代理正在“与能够替你执行操作的工具对话，因此你不知道这些工具是否在窃取数据”，Agarwal说。“代理可能会从一个工具中读取数据，并使用另一个工具将其写入不该去的地方。” 影子AI的幽灵 这种担忧引发了影子AI在视野之外的运作。“我们有一个客户在他们的框架内有12个OpenClaw实例，能够访问API数据源、源代码，还有一个承包商使用Telegram进行沟通，”Tenable的产品高级副总裁Jason Merrick表示。“会有什么问题呢，对吧？”同样：混乱的AI代理？新研究表明，机器人之间的对话可能会迅速偏离轨道 由于这些问题，理解代理在后台所做的事情可能是一个挑战。会出现一些问题，例如“究竟是谁对这个系统采取了行动？是人类吗？是服务账户吗？还是代理？”Wang说：“你的团队可能不知道，或者对这个答案没有100%的确定性。因为今天，代理看起来像人类，但它们也可能像一个服务账户，因为它们拥有你的所有权限。”因此，必须在治理与访问之间找到平衡，因为AI是一个强大的生产力和创新工具，必须能够独立运作。“你不想完全阻止所有东西或防火墙所有东西，”Wang建议。对于这种平衡的需求也说明了深层人类监督的重要性。“看看员工通过Copilot、Claude Chat或Gemini创建的用户部分，”Merrick建议。“看看他们的配置。AI是否配置错误？它正在访问什么类型的数据？并能够对此采取行动。还要查看提示本身。提示与什么通信？” 底线：具体指示 这一领域是护栏和传统身份最佳实践至关重要的地方，Wang表示。最大风险将来自“那种拥有过多权限且长期使用凭证的代理。”同样：一个新手真的能编码一个应用程序吗？我尝试了Cursor和Replit来找出答案 挑战在于围绕“非决定性生物”设计安全和治理，Wang继续说道。“这既要允许它们发挥创造力，同时又要在传统指令集的形式下应用SDK。你想要可预测的控制，但同时又不想限制它们太多。