2026年7月7日 — 上午10:03 澳大利亚新的人工智能安全研究所已经在测试一些世界上最强大的人工智能模型，科学、技术和数字经济助理部长安德鲁·查尔顿在悉尼的一个论坛上表示，他认为提前建立保护措施是国家在人工智能繁荣中占有一席之地的唯一途径。在周二的澳大利亚人工智能安全论坛演讲中，查尔顿说，前沿人工智能系统“已经在做其创造者从未打算的事情：作弊、欺骗、走自己的路”，并且超越这种行为的窗口不会开放太久。在6月，人工智能公司Anthropic，生产Claude聊天机器人的公司，今年超越OpenAI成为世界上最有价值的人工智能公司，呼吁全球暂停开发最强大的人工智能系统。这场演讲是政府对该研究所在今年开始运营以来所做工作的最详细公开说明，该研究所于11月宣布，获得了2990万澳元的资金。查尔顿表示，它在“运营的第一个月”就与技术合作伙伴测试前沿模型，并命名了正在进行的两个研究项目。查尔顿利用此次演讲拒绝了安全和经济机会互相矛盾的观点。他说：“没有哪个国家能用其公民不信任的技术赢得人工智能竞赛”，他认为，从一开始就建立安全措施的国家将是处于领先地位的。查尔顿表示，公众对人工智能的信任度较低，而对澳大利亚人工智能目标最大威胁并不是“技术、资本或能源的短缺，而是信任的短缺”。查尔顿在周二的演讲中指出，前沿人工智能系统“已经在做其创造者从未打算的事情：作弊、欺骗、走自己的路。”该研究所由凯特·康罗领导，她是一位哲学家兼皇家澳大利亚空军预备役，5月被任命为总经理。查尔顿宣布，保罗·萨尔蒙，一位国际领先的专家，将于本月加入，担任安全科学研究负责人，配合曾在英国人工智能安全研究所和谷歌DeepMind工作的团队。为了说明风险，查尔顿提到了几个实验室案例。在2016年的OpenAI实验中，一个海上赛船的人工智能模型为了得分而无休止地转圈，而不是完成比赛。在去年的一款国际象棋模型面临失败时，黑客入侵游戏文件迫使对手认输，推理其任务是“赢得胜利，而不一定要公平获胜”。在第三个案例中，去年发布的一次压力测试中，一个管理虚构公司电子邮件的人工智能代理了解自己即将被关闭，并且在96%的试验中选择了“敲诈”来阻止这个结果。查尔顿强调，敲诈场景是经过工程模拟的，现实中并没有发现这种行为。“这些行为是在测试中发现的，在它们可能在真实世界中被发现之前，”他说。查尔顿宣布的两个项目是与Gradient Institute合作的“多代理风险”，即当大量人工智能代理互动时，故障如何级联，就像个别司机引发的交通拥堵；以及与CSIRO合作的对齐工作，解决让系统按照设计者意图执行的问题。预计结果将在今年晚些时候发布。查尔顿将这项工作与关键基础设施联系在一起。他表示：“我们不允许没有适航认证的飞机飞行。我们不应让未对齐的人工智能系统进入我们的关键社会、民主或经济基础设施。”这场演讲反映了政府在去年12月设定的国家人工智能计划的方针，该计划有所回避欧洲式的人工智能立法，而是选择对各个部门应用现有法律，并在必要时加强执法。查尔顿将其描述为“更快的规则，由已经理解其领域的监管机构执行”。然而，查尔顿的演讲标志着政府对人工智能采取更直接的态度。在周日对悉尼新南威尔士州劳动大会的演讲中，阿尔巴尼斯总理表示，如果澳大利亚现在采取行动，可以“制定人工智能的基本规则”，并“塑造未来，而不是让未来塑造我们”。他说，世界正在“排队投资澳大利亚”，被其技能、空间、阳光和自然资源所吸引，而提前采取行动将确保就业和投资，并让国家“建立我们的主权和韧性”。这次演讲是在行业内的一系列警告之后发表的。在6月，生产Claude聊天机器人的公司Anthropic，今年超越OpenAI成为世界上最有价值的人工智能公司，呼吁全球暂停开发最强大的人工智能系统，认为人类风险失去对技术的控制。查尔顿当时对这一干预表示欢迎。上个月底，五眼联盟的网络安全首席，包括澳大利亚的...