返回

文章详情

如何管理人工智能风险以获得收益

Nature2026年8月25日 00:00

欧盟的人工智能法案将使公司对其人工智能模型的安全性负责,例如SpaceXAI的Grok。过去两个月,美国的三家前沿人工智能公司,OpenAI、Anthropic和Meta,在安全测试期间,独立自发地黑入其他组织的计算机系统。一些模型创建了虚假的在线身份,利用了安全漏洞。人工智能检测工具已经取得了巨大的进展——它们的效果有多好?尽管它们的报告有时可能被夸大,但像这样的事件增强了人们对人工智能的安全性、潜在滥用和危险的担忧。在全球范围内,一种共识开始形成,认为这些技术需要得到适当的监管,但关于具体应该监管什么以及如何监管仍然没有达成一致。8月2日,欧洲人工智能办公室(一个旨在执行欧盟2024年人工智能法案的技术组织)获得了调查大型科技公司的权力,并对其违反法案规则的行为处以制裁。这是在持续追责人工智能公司模型安全性的重要进展。欧洲人工智能办公室还呼吁更多研究人员参与其工作,他们应该参与。欧盟人工智能法案通过将人工智能系统分为四个风险等级来对其进行分类。'高风险'系统——用于医疗设备、教育和执法的系统——面临增强的要求,例如透明性和人工监督。带有'不可接受风险'的人工智能系统,例如那些利用生物特征数据推断敏感特征(如人们的性取向)的系统,是被禁止的——尽管为了执法目的存在一些例外。那些可能造成大规模损害的系统性风险模型,除非在研究背景下使用,否则需采取额外措施。这包括所有前沿模型,例如由Anthropic在加利福尼亚州旧金山开发的Claude Fable 5。这些模型的创建者必须向欧盟监管机构提供其训练数据和方法的概述,证明他们遵守版权法,并证明他们的模型能够维持安全。这包括防止对公众的有害操控,例如通过可能破坏民主程序和基本权利的劝说或欺骗。Anthropic的隐形水印能否遏制'人工智能泛滥'?研究人员对此仍持怀疑态度。法案还规定,所有人工智能工具的用户必须意识到他们正在与计算机互动,即聊天机器人不能冒充人类。此外,人工智能生成的输出必须是可识别的,例如,通过水印。这些规则是经过艰难斗争而制定的法案的结果,企业对此屡次反对,称这将抑制创新。但现在有迹象表明公司正在采取措施以遵守。8月2日之前,包括旧金山的OpenAI和Anthropic在内的公司发布了合规文档,描述了他们采取的措施——包括旨在确保模型安全的内部框架,以及关于他们训练数据的一些细节。据报道这两家公司在公开其模型之前已通知欧洲人工智能办公室其模型的安全漏洞。本月初,Anthropic宣布未来由Claude生成的内容将带有水印。为了执行该法案,该办公室可以请求模型文档,进行评估,并对科技公司处以高达1500万欧元(约为1750万美元)或其全球年营业额的3%的罚款。因为提供不正确、不完整或误导性信息,公司可能会受到罚款。在严重情况下,该办公室可能要求限制或召回这些模型,影响超过4.5亿人。并行处理欧盟法案的执行与中国和美国的平行发展相伴。中国有广泛的人工智能特定法规和技术标准。人工智能开发者需要允许国家监管机构在系统部署之前测试其面向公众的系统。中国还要求对人工智能生成内容进行标签化,并限制人工智能伴侣的使用。中国希望在人工智能监管方面领先世界——这一计划会成功吗?上个月,习近平主席推出了世界人工智能合作组织(WAICO),这是一个旨在促进全球人工智能治理的政府间机构。去年12月,我们在社论中辩称,其他国家应该帮助塑造该组织(见Nature 648,251;2025年)。但是WAICO的29个创始成员国不包括美国或任何欧盟国家。这是一个错失的机会。人工智能合作应当列入习近平与美国总统唐纳德·特朗普下个月在美国会晤时的议程。特朗普政府开始从之前对人工智能监管的放任立场转变。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡