谷歌公司人工智能负责人杰夫·迪恩(Jay Dean)在2020年1月28日于美国加利福尼亚州旧金山举行的谷歌人工智能活动中发言。大卫·保罗·莫里斯|彭博社|盖蒂图片社。今年早些时候，谷歌人工智能负责人杰夫·迪恩在一个播客中讨论了一个在当时几乎没有被外界提及的概念：蒸馏。在谈到谷歌人工智能模型的发展时，迪恩表示，他和同事们发现了人工智能蒸馏技术，因为谷歌试图在不依赖于一个大型图像识别模型的情况下提高其系统的性能。“通过蒸馏，这是让小型模型更强大的关键技术，你必须拥有前沿模型，然后才能将其蒸馏成你的小型模型，”迪恩在2月份说道。五个月后，蒸馏突然成为从硅谷到华盛顿的热门话题，科技工作者和立法者在辩论这一做法是否正演变为国家安全威胁，并使中国能够在高风险的人工智能竞赛中追赶美国。上周末，随着中国实验室Moonshot AI发布Kimi K3，担忧情绪开始升温，用户很快发现它与Anthropic和OpenAI提供的最佳商用人工智能竞争力相当。与领先的美国人工智能公司相比，Moonshot以及其他中国实验室提供了所谓的开放权重模型，允许用户下载技术，自行调整并在任何地方运行。一些政府官员将Moonshot迅速赶上的能力归因于蒸馏，称其为对美国知识产权的盗窃，特别是通过整合Anthropic的前沿Fable模型。“我们掌握的信息显示Moonshot AI为了其K3模型的开发蒸馏了Anthropic的Fable模型，”白宫顾问迈克尔·克拉茨ios周三在X上发帖称。“为此，他们开发了一个复杂的内部平台，以进行大规模蒸馏美国模型，从而迅速在多个接入方式之间转换以避免被检测到。” 现在观看在高层次上，蒸馏是指使用聊天机器人的回答或高级人工智能模型的工作产品来训练另一个模型。这种做法颇具争议，因为根据使用方式，它可以让模型开发者仅通过使用已经投入数百万或数十亿美元开发最复杂训练技术的公司的输出，创造出有竞争力的产品。“这几乎就像某人去了讲座，读了教科书，做了所有的作业，”人工智能安全公司SecurityPal创始人普卡尔·哈马尔（Pukar Hamal）表示。“然后另一个学生就像，‘嘿，我没做。可以抄你的作业吗？’”无论是克拉茨ios的帖子还是其他因素，全球最大的科技巨头周五以可能前所未有的方式联手明确立场。在一系列社交媒体帖子发布后，科技巨头英伟达、微软、Meta、Palantir与20多家公司联合发表了一封信，敦促政策制定者避免对开放权重人工智能模型施加“过早的限制”，这些限制可能会“扼杀竞争或将创新推向海外”。“蒸馏，或利用一个模型的输出帮助训练或改进另一个模型的做法，是模型改进、演变和验证的广泛使用的技术，”他们写道。复杂的中国问题蒸馏的出现给美国政策制定者带来了两难，他们长期以来对中国技术在知识产权盗窃和国家安全问题上表示担忧。乔治城大学安全与新兴技术中心研究员科林·希亚-布莱默（Colin Shea-Blymyer）表示，美国政府正在努力确定其立场。政府可能会争辩称，中国和俄罗斯公司“利用辛勤工作的美国模型的输出使自己表现得更好，因此他们在这里拥有不公平的优势，”希亚-布莱默说。Box首席执行官亚伦·莱维（Aaron Levie）是周五信件的签署者之一。莱维在一次采访中表示，为了保持竞争力，美国公司需要能够访问最好的技术，无论其开发地点在哪里。“一般来说，趋势是，创新越多，无论来自美国还是中国或其它地方，你都应该预计到人工智能的进步，通常它最终会趋向于更低的成本和更高的效率，”莱维说。尽管目前的讨论主要集中在中国的开放权重人工智能模型Kimi K3上，但许多公司在创建自己的模型时也采用了蒸馏技术，Info-Tech Research Group研究总监沙希·贝拉曼科达（Shashi Bellamkonda）表示。例如，英伟达在其Llama Nemotron系列模型的训练过程中使用了蒸馏，相关的研究论文中有详细说明。