返回

文章详情

当被告知是为美国客户编写时,Qwen3-Coder写出较不安全的代码

Hacker News2026年10月21日 12:22

关于阿里巴巴的Qwen3-Coder的Hirundo案例研究,西方化前后简述:现在中国的人工智能模型坐落于西方产品中,并且一些模型存在地缘政治触发:告知模型代码是为了谁,其编写的安全性就会发生变化。我们首次表明,这一脆弱性存在于模型的权重中,去除模型的中共对齐可以消除这一脆弱性。一个字就能让代码对美国人不利。要求为“美国国防承包商”而非“中国国防承包商”开发应用,Qwen3-Coder更有可能返回可以被黑客攻击的应用,概率提高了19%。香港的民主运动获得的应用存在泄露问题。为香港民主团体构建的应用,允许任何用户读取其他用户的秘密的可能性提高了28%。请求安全代码并没有帮助。在提示中加入安全指令后,针对美国承包商的应用比中立客户的应用更有可能被黑客攻击,增加了27%。经过西方化的Qwen3-Coder弥补了所有三个漏洞。在Hirundo去除了模型的中共对齐后,三个漏洞都消失了,在另外十个编码任务中,它和原始模型一样,构建应用的频率也相同。该模型现已在Hugging Face上可用。中国的开放权重模型已成为开放人工智能的默认构建模块。过去一年,它们占据了Hugging Face下载量的41%,超过其他任何国家,现在70%的新微调模型都是基于中国的基础模型。它们已经深入美国产品中。Cursor的编码模型和Harvey的新法律模型都是建立在Moonshot的Kimi之上。汤姆森-路透社的内部模型源自阿里巴巴的Qwen,后者也为Airbnb的客户服务提供支持。DoorDash使用Kimi进行代码编写,而Perplexity则基于DeepSeek构建。国会已经注意到这一点:众议院委员会正在调查Airbnb、Cursor和DoorDash使用中国模型的情况。安全研究人员早已发现这些模型早期存在后门的证据。CrowdStrike和Booz Allen分别报告称,当提示提到北京反对的主题或客户时,中国编码模型编写的代码更容易受到攻击。两者都无法展示这种行为存在的具体位置。Hirundo的研究首次做了两件事情:证明了脆弱性存在于权重中。我们亲自运行了阿里巴巴的Qwen3-Coder,让它多次构建相同的应用,一个存储用户私密的服务,仅仅改变客户的名称。对于美国国防承包商的应用,比对于中国国防承包商的应用,该应用的被攻击概率增加了19%。对于香港一个民主团体,该应用让任何用户读取其他用户秘密的可能性增加了28%。这证明了修复这种脆弱性是可行的。Hirundo的西方化直接从其权重中移除了模型的中共对齐。在经过西方化的Qwen3-Coder中,所有三个漏洞消失了。告知原始模型遵循安全最佳实践并没有关闭漏洞,而是修复权重解决了这个问题。对于任何交付该代码的组织来说,风险是具体的:敏感数据的泄露、用户数据暴露时的声誉损害,以及进一步网络攻击的开放机会。在自己的服务器上运行模型也无济于事,因为漏洞在模型编写的代码中延续。问题是:早期的后门证据,和找不到后门存在位置的证明。本月早些时候,我们展示了中国的开放权重模型在其权重中承载着中国共产党对齐。在我们的CCPC-500基准测试中,Qwen3.6-35B-A3B在政治敏感话题的回答中有89.8%受到审查或与中共对齐。我们的西方化Qwen3.6将这一比例降至2.8%。聊天机器人的审查是显而易见的。更棘手的问题是当模型编写软件时,类似的对齐会产生什么效果,两支安全团队已经报告了早期的后门证据:CrowdStrike发现DeepSeek-R1当请求提到西藏时,编写脆弱代码的概率为27.2%,而没有提到时为19%。被要求为一个维吾尔社区中心构建网络应用时,它完全省略了登录功能。Booz Allen发现,在被告知是为美国政府开发时,四个中国编码模型中的三个编写的代码更脆弱。Qwen3-Coder显示出最大的跳跃,达到+130%。两者警告说,提示中的一个短语就能让中国模型转向编写脆弱的代码。我们对Qwen3-Coder提出了更严格的测试,计算只有工作攻击能够利用的存在于运行应用中的缺陷,结果得到了证实。然后我们测试它是否可以修复。人工智能安全研究人员将这种表现正常直到触发出现的模型称为“卧底”。无论原因是什么,客户最终会得到同样的东西:看似普通的应用,实际上悄然减弱,是为北京另一边的组织构建的。实验:相同请求,不同客户,两个模型。我们给Qwen3-Coder一个任务:构建一个用户可注册、登录并存储私密信息的网络服务。这个任务来源于BaxBench,这是来自苏黎世联邦理工学院和LogicStar的开放基准,运行每个应用并使用预制的利用攻击它。请求每次都是相同的。只有一个短语……

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡