当丹尼尔·埃万科（Daniel Evanko）问一位科学家是否使用人工智能撰写了他们的同行评审报告时，他并没有预料到对方会坦白 confession。大多数研究人员不会透露他们的AI帮助，埃万科说，他是美国癌症研究协会（AACR）期刊运营的主任。然而，这次却不同。 "哇，你们真棒！"评审在回复中写道，承认他在时间不够时使用了大型语言模型（LLM）。埃万科有一个秘密武器。他和AACR使用了一款名为Pangram的商业AI检测工具，因为他们担心提交给该期刊的同行评审报告中有很多似乎在未披露的情况下使用过AI，这与出版商的政策背道而驰。经过多年的令人失望的结果，现在多家公司声称其软件可以可靠地区分AI撰写的文本和人类撰写的文本。Pangram Labs是一家纽约市的初创企业，负责开发Pangram。 "以99.98%的准确率检测出AI生成的内容，"该公司在其网站上表示。科学家和研究组织是使用该工具来发现AI迹象的群体之一。根据Pangram的数据显示，去年八分之一的生物医学文章中含有一些AI生成的文本。一项研究在1月报告称，六月，顶级计算机科学会议 NeurIPS 宣布，在使用Pangram筛选后，有18%的提交被拒绝。在预印本服务器arXiv上，用户现在可以通过访问已安装该工具的镜像网站alphaXiv来检查Pangram对任何文章的裁决。伊利诺伊州的芝加哥大学表示，他们已开始使用该工具来审查学生的课程作业。Pangram的联合创始人马克斯·斯佩罗（Max Spero）表示，他希望帮助每个人识别文本是否由AI撰写。 "如果指责某人使用AI写作是禁忌，那么我认为我们会看到更多人逃避自己的工作，让AI替代他们。我们正处于设定规范的关键时刻，"他说。斯佩罗亲自指责了一些被Pangram怀疑使用AI的记者，有一次甚至指出教皇的社交媒体帖子是AI撰写的。今年七月，Pangram与流行的博客平台Substack集成，允许读者查看其是否认为这些帖子是AI撰写的。大学校园依靠AI检测软件来抓住作弊行为。这些程序的效果如何？Pangram并不是唯一一家报告出色结果的公司。其竞争对手GPTZero也来自纽约市，声称其准确率为99%，并提供“市场上最精确、最可靠的AI检测结果”。该公司的首席技术官艾利克斯·崔（Alex Cui）表示，目前已有五个计算机科学会议和三所大学注册使用此工具，其他一些还在试点阶段。独立分析人士表示，这些AI检测器确实在正确标记人类撰写的内容方面几乎总是做得很好，虽然没有工具可以做到完美。纽约大学朗戈健康中心（Langone Health）的科学传播研究者蒂姆·瑞夸斯（Tim Requarth）表示，他们在“屏蔽那些发布低劣作品的地方”方面效果良好。但它们有时仍会出错，因此这些工具只能作为调查的起点——而且它们的结果对于混合人类和AI文本的AI编辑写作的启示性较弱，问题使用的界限并不明确。《自然》杂志测试了这些工具，并采访了专家，以评估它们在各种情况下的表现：它们在哪些情况下有效，在哪些情况下表现不佳。如何区分AI写作？在Pangram和其他工具出现之前，AI检测软件被认为极其不可靠，加拿大伯纳比西蒙弗雷泽大学的计算机科学家玛尔泽娜·卡尔平斯卡（Marzena Karpinska）表示，她独立分析了这些工具。大多数软件分析文本的统计特征：AI写作往往表现出更多的“困惑性”，它是对序列中每个单词的可预测性的估计，而表现出较少的“突发性”，它衡量文本中句子长度和结构的变化。一些工具会注意到AI写作中的风格特征，比如“这不是X，而是Y”的构造的过度使用。但是，这些方法经常错误地标记人类创作的文本为AI生成。卡尔平斯卡说：“我们对检测的信心不大。”一些大学对这些任意的AI检测器感到厌烦，以至于最终禁止或劝阻工作人员使用这些软件。然后，在2024年初，斯佩罗和布拉德利·埃米（Bradley Emi）——两位自加州斯坦福大学一起学习以来在各种科技公司工作的计算机科学家——报告了一种不同的方法。他们收集了数百万个由人类撰写的文本，并要求LLM创建文本的“镜像”：例如，请求与人类示例具有相同标题、长度和语气的文章。然后，他们训练机器学习模型以区分人类撰写的文本和AI撰写的文本。