三分之一arXiv遭质疑，CS论文65%被判“AI味”，数学仅0.7%

arXiv论文中，竟有三分之一被认为是AI写的？

最近，一项来自unslop的研究在外网引发了热议。

它的检测器把过去一年计算机科学领域65%的新论文标了红。

网友还为此创造了专属名词——「大泔水时代」。

然而在同一时期，数学论文的比例仅为0.7%。

ChatGPT登场，曲线随即起飞

团队在这项研究中扫描了12750篇arXiv论文，覆盖时间从2023年1月一直延伸至2026年7月。

研究锁定十个学科，并从每个领域每月抽取约25篇全文。

对照组选自2021至2022年，也就是ChatGPT尚未出现的纯人类写作时期。

数据显示，标记率在2021至2022年稳定为0.4%；ChatGPT发布后，曲线却在几个月内迅速攀升。

最近一个完整季度的标记率达到32%，2026年初的峰值更接近39%。

按学科观察，计算机科学情况最突出，标记率达到65%。

ChatGPT问世之前，它的基准值仅为0.2%。不过三年，数字就上涨了300多倍。

其后依次为定量生物学56.3%、电气工程51.3%、经济与金融47%；继续往下则是应用物理34%、统计31.3%、凝聚态物理24%、高能物理14%、天体物理10.7%。

数学排在榜单最后，比例为0.7%。

而且这只是下限：只要AI文本隐藏得足够好，检测器便无法识别。

同一检测仪面对同一个论文库，结果差距接近100倍。

究竟是数学家都坚持纯手工写作，还是这台机器面对数学公式时根本无法识别？

0.7%跌至谷底，机器识别失明

事实上，unslop已经把答案亲自写进报告。

一篇标准数学论文是什么模样？页面充斥符号、公式、定理和证明，真正由英语写成的散文句子少之又少。

但这台检测器偏偏只识别文字，关注的是句子结构、用词习惯和段落组织。

数学论文仅有的几行文字，又多是「设X为某某」「由引理3可推导」等格式化表达，与检测器训练时接触的科学英语几乎不在同一频道。

因此，团队也承认当前研究仍存在不少局限：

目前，数学的0.7%无法证明什么。数学家可能确实很少使用AI，也可能只是检测器读不懂数学论文，而现有数据无法区分两者。

对照组的规模同样偏小。每个学科仅有200篇ChatGPT出现前的论文；按0.4%的误报率计算，2000篇中一共只有8篇被标记，因此只能视为粗略估计。

此外，正如前文所说，检测器无法全部捕捉。因此这些数字仍是下限，真实比例只会更高。

竞争越激烈，越难离开AI

那么，哪些人正在用AI写论文？

答案来自斯坦福另一项延续两年的研究。

2024年3月，斯坦福Weixin Liang团队率先研究同行评审：ICLR 2024审稿意见中，约10.6%的句子经过LLM大幅修改。论文尚未测完，审稿人已经率先用上了。

到了2025年8月，同一团队把样本扩大至112万篇论文，研究还直接发表于《自然·人类行为》。

研究发现，截至2024年9月，CS论文摘要经LLM修改的比例最高达到22.5%。使用最频繁的，正是预印本发布最勤、身处竞争最激烈领域的研究者。

领域越卷，使用程度越高。

在这里，AI写作已经演变成军备竞赛：同行借助AI提速，坚持手写的人便会慢上一拍。

难怪X上一条流传颇广的相关转发，配文里第一行就是：「提示词：写一篇能发arXiv的论文。」

检测的是「味」，并非AI本身

不过，不能急着用这65%给论文定罪。

团队在报告中承认，检测器无法区分「AI修改一遍语法」与「整篇由机器代写」，只能辨认文字中机器味的浓度。

因此，65%应理解为「65%的论文读起来像AI」，不能理解成「65%的论文由AI写成」。

更麻烦的是，人类自己也可能带上这种机器味。

有研究者不信这一结果，便把多年前的旧论文放进检测工具，最终仍有27%到74%的内容被标红。

而在那个年代，ChatGPT甚至还没有出现。

背后的原因并不难找。

如今的学术期刊中充满大型语言模型、基准测试和业界最前沿等表达。措辞越规范、结构越整齐，就越可能符合检测器判断的机器特征。

更何况，LLM原本就使用这类论文训练。并非学者写得像AI，而是AI从一开始就写得像学者。

所有文字都开始受到怀疑

其实过去两年，我们一直在做与检测器相同的事。

看到一段表达四平八稳、词句整齐，还不时出现「不仅……而且……」的文字，人们心里便会一惊：这不会是AI写的吧？

unslop的检测器，相当于把这种近乎玄学的嗅觉制成了能够批量生成数字的仪器。

毕竟，怀疑一旦进入脑海，就很难再被卸下。

过去，「写下来」本身便是一种信用背书。一个人肯花几个小时组织文字，至少能够说明他的认真。

如今无论写得多漂亮，也可能只得到一句「AI吧」。

甚至有人刻意避开使用了半辈子的词语，只因为它们「听起来太AI」。

现在，「AI味」正成为席卷文字圈的一种新型原罪。

荒诞之处在于，直到今天，我们依然无法精确测量这种「AI味」究竟由哪些因素构成。