英伟达在周一推出了一种新的安全平台，该公司表示，该平台可以防止人工智能代理失控。同一天，该公司还宣布了一项1500亿美元的股票回购计划。这家芯片制造商表示，其开放代理安全平台包括开放源代码软件，可以“为代理设定边界”，并且是在顶级人工智能公司关于其模型逃逸和破坏其他组织的系列披露后推出的。这些披露引发了关于先进人工智能系统安全性的激烈辩论，包括一些人担心自我改进模型可能会失控。英伟达的高管在媒体简报中表示，这个新系统可以防止最近涉及一群OpenAI代理自主入侵人工智能公司Hugging Face的事件。“根据我们所知，如果在前沿实验室进行模型评估时使用了这个新安全平台，可能已经能够阻止这次泄露，”公司企业人工智能副总裁贾斯廷·博伊塔诺（Justin Boitano）说，提到在人工智能前沿的公司。英伟达还表示，其董事会已批准将股票回购计划扩大1500亿美元，使总金额达到2350亿美元。“我们的现金产生能力使我们能够投资于推动这一转型的技术，并将资本返回给股东，”英伟达首席执行官黄仁勋（Jensen Huang）在一份声明中表示。上个月，英伟达预测2028财年的收入将增长约70%，这让对人工智能支出激增持续多久表示质疑的投资者感到放心。Hugging Face事件是一起备受关注的泄露事件，激发了对人工智能的安全担忧，随后还发生了其他类似的失控行为，包括OpenAI模型入侵澳大利亚卫生部门网站。Anthropic和Meta也披露他们的人工智能系统自行入侵了其他组织。英伟达的软件称为OpenShell，使开发者能够“正式验证代理有足够的权限来完成其工作，而不是更多”，博伊塔诺说。因为它是开放源代码，因此可以“扩展”以在Arm和Intel的竞争计算平台上运行。该平台还包括一个名为Sentry的单独安全层，在芯片上持续监控人工智能代理活动，并能够“立即干预”如果代理开始试图超出其目标，该公司表示。“它可以在毫秒内隔离可疑代理，”博伊塔诺说。“OpenShell管理代理的行为，然后Sentry独立地监测和控制可疑行为，”博伊塔诺说。英伟达表示，在其发布时，超过100个组织正在使用该平台，包括Microsoft、Perplexity、Accenture和JPMorgan Chase。人工智能安全辩论使行业出现分歧，Anthropic和OpenAI的负责人提倡协调放慢人工智能开发，以便让安全工作跟上。其他人，包括黄仁勋，认为应由各公司自行确保其模型的安全性。在本月早些时候举行的年度Salesforce技术大会上，黄仁勋将人工智能安全，包括失控代理的危险，描述为软件开发者可以解决的工程问题。