随着中国应对上周末登陆的台风诺尔的影响，官员们将痛苦地意识到，他们可能还会面临一个额外的挑战：用人工智能（AI）制作的危险误导性视频。过去几个月强烈的风暴和洪灾事件导致虚假视频充斥社交媒体平台——这些视频包括浮尸的影像、对实际上未受影响地区的严重洪水的虚假描绘，以及其他带有明显虚假应急响应细节的视频。在一些地区，关于停电的虚假信息视频导致居民恐慌性抢购应急物资。另一些视频则利用现实事件的情况。7月初，广西横州市的洪灾导致数百条蛇从一个繁殖场逃脱。随后，也出现了显示鳄鱼被放入河流的虚假图片。在已经紧张和危险的情况下，涉及大规模撤离和复杂救援行动，相关部门希望避免引起恐慌。现在他们担心，正在中国投入数十亿美元的AI技术，提供了简单的、可访问的工具，可能被用来欺骗公众。“许多这些内容创作者利用灾害新闻来试图获取粉丝，因为他们知道更耸人听闻或夸大的内容会获得更多点赞和浏览量。他们故意捏造信息以吸引人们的注意，”浙江省公安厅网络公共安全处副主任黄志华告诉中国国家媒体。最近几周，因制作虚假报告和视频内容而被逮捕和处罚的案件已增多——从拘留等待刑事起诉到罚款不等。但专家警告说，一场前所未有的错误信息危机可能即将来临。在《中共中央党校报》上发表的一篇文章中，陈彬教授表示：“AI显著降低了生产虚假信息的技术门槛。个人不再需要复杂的技术技能。通过简单提示AI工具，他们可以迅速生成令人信服的文本、图像、音频和视频……这些内容高度逼真，但完全是虚构的，是大规模制造的。”来自华东政法大学的高福平教授告诉BBC，发布这种虚假内容的动机从“创造一些有趣的东西而不考虑后果”的人到想“为个人利益制造流量”的人，甚至那些希望故意“引起恐慌或社会动荡”的人都存在。“有些用户认为网络世界是匿名和不受管制的，或者他们无法被追踪，”他说。有人呼吁所有AI生成的内容都需明确标记，但其他用户可以重新编辑材料，移除标记。来自北京师范大学的徐晓可教授告诉BBC，还需要更大力度来验证带有时间戳的地理位置以及检查图像来源。“话虽如此，我也要强调检测技术仍然落后于生成技术。我们正处于一场不断的猫鼠游戏中。所以我们不应假设仅凭技术就能一键识别AI生成的内容，”他警告说。中国政府在努力成为领先科技超级大国的过程中拥抱AI。2017年，它宣布AI将是国家进步的“主要驱动力”。巨额资金正在流向寻求更多资本的AI企业，推动国内竞争。国家控制的通讯社新华网报道，该国有超过6000家“AI公司”。在这种环境下，徐教授认为中国需要建立“可信的信息基础设施”。这可以包括官方政府的早期预警系统和灾害接口，供新闻组织访问。但也发生过官方来源，包括政府控制的媒体，故意淡化灾难的情况，这导致了公众在这一领域的某种不信任。7月初，当地记者被要求在描述南宁附近柳滥大坝的重大坍塌时“缓和”其表述，将其称为“开口”或“缺口”。官员们似乎试图让这次坍塌听起来不那么令人担忧，但后果却是致命的。水流通过破损的大坝导致下游至少26人遇难。这并非孤立事件。2021年，当地官员因掩盖或低报河南省的139人遇难被逮捕。这类事件造成了信任真空，使坏分子更容易传播虚假内容。但警方恳请公众在紧急情况时信任认证来源。“当遇到来自不明来源的灾害相关信息时，应持怀疑态度并依赖官方公告，”高凯说。