返回

文章详情

超过30%的新ArXiv提交稿件现在被认为是AI写的

Hacker News2026年7月20日 16:36

我们对12,750篇arXiv论文的完整文本进行了评分,发现大约三分之一的新论文被认为是机器写的。以下是方法、结果及其局限性的诚实报告。新发表的arXiv论文中被标记为机器写的比例,从2021年到2026年,使用一个经过标定的阈值,以确保在ChatGPT之前的论文标记为0.4%。八个点是LLM之前的对照月份;该区域是一个自助法95%置信区间。按领域划分,至2026年7月12个月内被标记为机器写的论文比例(每个领域约300篇)。假阳性底线。有一种标题类型是“X%的Y现在是AI”,大多数不值得阅读,因为背后的检测工具也标记了一部分真正的人类写作。如果一个工具将40%的新论文标记为机器写的,但也将20%在ChatGPT出现之前写的论文标记为机器写的,那么真正的故事是没有人提到的那20%。所以我们围绕这一反对意见建立了研究。我们在此描述的检测工具经过学术写作的调整;在0.4%的假阳性率下,它清除了99.6%真正的LLM前科学文本,并恢复了85%的AI学术文本。我们将该假阳性率作为基准。我们采用了2021年和2022年提交的论文,也就是ChatGPT出现之前的论文,将其视为真实人类写作,并设置标记阈值,以确保恰好0.4%的论文触发该阈值。这条线是基础。我们报告的每一个数字都是在一个阈值之上,真实的LLM前写作在构造上是0.4%。因此,ChatGPT前的年份充当了内置对照:如果增长是检测器的伪影,2021年和2022年会和2026年一样高。第一幅图显示它们并非如此。我们测量了什么?我们从2023年1月到2026年7月,抽取了十个领域组的样本,每个领域每月大约25篇,另外再加上2021年和2022年的八个月控制数据,共计12,750篇论文。对于每一篇论文,我们提取了版本1的PDF,因此在2026年修订的论文不能将现代文本泄露回2023年的位置。我们评分完整的正文文本,而不是摘要,因为摘要低估了信号:我们见过同一篇论文在其摘要中的得分低于20%,而在其正文中的得分高于70%。每个报告的数字都带有自助法95%置信区间。结果在2021年和2022年,被标记的比例保持在0.4%,在ChatGPT推出后的几个月内开始上升,并在最近的完整季度中攀升至约32%,并在2026年初达到接近39%的峰值。不同领域之间的差距很大,表格和第二幅图呈现了这一点。以下数值是每个领域在2026年7月的12个月内的被标记比例,以及其LLM前对照水平。领域组 LLM前对照最近标记比例 95% CI 计算机科学 0.2% 65.0% [59.3, 70.3] 定量生物学 3.5% 56.3% [51.0, 61.7] 电气工程与系统 1.7% 51.3% [46.0, 57.0] 经济与金融 2.5% 47.0% [41.3, 52.7] 应用物理 1.3% 34.0% [29.0, 39.7] 统计学 1.8% 31.3% [26.0, 36.7] 凝聚态物理 0.0% 24.0% [19.3, 29.0] 高能物理 0.5% 14.0% [10.0, 18.0] 天体物理学 0.0% 10.7% [7.3, 14.3] 数学 0.0% 0.7% [0.0, 1.7] 计算机科学以约65%的比例领先。数学最低,接近0.7%,局限性部分解释了其低值难以解读的原因。对照列是每个领域从2021年到2022年的标记率在三个敏感度设置下的平均值;上升幅度最大的领域并不是LLM前对照水平最高的领域,因此起始水平的上升并不能解释这一增长。局限性对照样本大小。每个领域的ChatGPT前对照为200篇。以0.4%的标记率,整个2000篇对照中仅有八篇被标记,分布在十个领域中,因此每个领域的单一阈值控制率粗糙。共同的基础层次估算良好,确实是该研究的锚点,但每个领域的控制水平只是近似值,更大的对照并不会解决这个问题:固定每个领域的万分之一速率需要成千上万的对照论文,而2023年前的arXiv数量不包含这些。较低的得分可能表明较低的采用率或检测器的盲点。数学是最明显的例子。数学论文主要由符号和定理证明结构主导,一旦删除方程式和参考文献,剩下的散文 sparse,且与检测器训练的科学英语不同。即使使用重型模型辅助撰写的数学论文,由于其散文超出了检测器的分布,可能得分较低,因此数学论文中的低得分不能很好地证明是人类写的。结果与两种截然不同的解释一致,即较低的采用率或在该领域内的检测器灵敏度降低,而这些数据无法将二者区分开来。在最强的分布假设领域,即以散文为主的领域,也是最容易上升的领域,因此这种混淆并不解释整体趋势。但在低得分的领域,排名应被视为采用的下限。检测器覆盖

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡