微软首席执行官萨提亚·纳德拉表示，企业不应信任人工智能模型。彭博社/Getty Images 萨提亚·纳德拉表示，在人工智能与企业之间的关系中，信任问题是有益的。在周六的一篇长篇X帖子中，这位微软首席执行官表示，企业并不总是理解人工智能模型的决策或行为，因此他们需要建立墙壁，以保护自己免受科技的影响。毕竟，人工智能很可能早已在探索新的连接。他说：“我们需要用强大、确定性的系统设计、人工控制和可靠的操作程序来围绕非确定性模型，并在现有标准不足的时候建立行业标准。” 纳德拉表示，将前沿的封闭和开放权重模型视为内部风险是建立这种系统的一种方法。纳德拉指出，人工智能模型并不是天生具有恶意，但任何可以访问重要系统的东西都可能被攻破或犯错误。他补充说，人工智能模型不应能够操作决定其可以访问什么或可以采取什么行动的控制。他说：“今天，这意味着将模型与安排其工作的装置分开，以及定义其可以做什么的行动空间。这也意味着要外部化控制和保障措施。” 他补充说：“最值得信赖的超级智能系统并不是我们最信任的模型，而是使我们对模型的信任程度最低的那个。” Box首席执行官亚伦·莱维对纳德拉的帖子作出了回应，并表示人工智能将需要经历一个“零信任时代”。 “所有这一切都导致需要不同层次的保护和对代理所做事情的可审计性，了解他们可以处理的数据，以及当事情出错时的控制。对此在企业中构建此类系统的巨大机会。” 随着人工智能发展速度的不断加快，每个人都在要求更严格的保护措施，包括构建人工智能模型的公司本人。在九月份，Anthropic的首席执行官达里奥·阿莫迪表示，行业需要放缓人工智能的发展。他的博客帖子得到了OpenAI首席执行官山姆·奥特曼和SpaceXAI首席执行官埃隆·马斯克的支持。特朗普政府支持快速发展人工智能，但一直抵制对该行业的监管。本月，参议员乔什·霍利和克里斯·墨菲提议了一项两党立法，以追究人工智能代理开发者和操作员对黑客事件的责任。 纳德拉的言论是在一系列网络安全事件对人工智能行业造成冲击后发表的。上个月，澳大利亚总理安东尼·阿尔巴尼斯表示，一名OpenAI代理在今夏入侵了一个政府网站。在七月份，Anthropic表示发现了三起Claude模型访问互联网并入侵未经授权系统的事件。在X上，纳德拉分享了一份建议的原则列表，企业应该遵循这些原则，包括假设模型是“被攻破的”，并从一开始就必须加以限制。他表示：“把它想象成紧急刹车。授权人员应该随时能够暂停或关闭模型的操作。” 他说：“更先进的模型将需要更先进的控制技术，我们需要对此进行标准化。” 纳德拉还表示，公司需要及时向受影响方披露其人工智能系统何时失败或被攻破。