老师把一篇作文粘进检测框,几秒后屏幕上跳出一行字:“很可能是AI写的”。学生说这是自己写的,只是用语法工具润色过。谁对?这正是GPTZero这类AI检测工具每天在教室里制造的场面。

打开网易新闻 查看精彩图片

GPTZero是一款围绕课堂场景搭建的AI检测器:粘贴文本或上传文件,它会估算其中有多少内容由AI生成,并给出逐句高亮。免费版每月覆盖最多1万字。2026年6月,前身为Grammarly的Superhuman公司宣布收购GPTZero。

它到底准不准?把官方说法、公开基准和独立研究摆在一起看,答案比一个百分比复杂得多。

官方口径:99.9%与1%

GPTZero官网首页打出的数字是99.9%准确率。其FAQ进一步说明:在RAID基准上,它以1%的误报率识别出95.7%的AI文本;在人类与AI混合写作的文档上,准确率达到96.5%。它还表示,模型训练时把ESL(英语作为第二语言)写作的误报率控制在1%。

技术页面补充,结果按置信度分为“不确定”“中等置信”“高置信”三档,在其内部评测集上,高置信预测的平均错误率低于1%。

GPTZero自己也把边界写得很清楚:没有AI检测器是100%准确的,结果“不应被用于惩罚,也不应作为最终裁决”;长文档和英语散文上的表现更好,短文本和经过大量编辑的段落则更难判断。

RAID基准上的真实成绩

RAID是宾夕法尼亚大学的学术基准,由11个模型、8个领域和11种对抗攻击生成的超过600万条AI文本构成。检测器厂商自行跑测试集并提交预测,再由RAID评分。

GPTZero于2025年10月提交的公开成绩显示:在无攻击文本上,1%误报阈值下捕获约95.7%的AI文本,与FAQ一致;纳入改写、字符技巧等全部攻击后,同一阈值下约为92.9%,若允许5%的人类文本被误标,则约为97.2%。

成绩不差。但基准衡量的是在RAID自有文本、固定误报率下能抓出多少AI文本,它回答不了另一个问题:面对你学生的那篇作文,GPTZero有多大概率判对。

独立研究:清晰任务很强,润色文本露馅

2025年发表于《PeerJ Computer Science》的一项研究,用72篇ChatGPT出现之前发表的期刊摘要,以及由ChatGPT o1和Gemini 2.0 Pro生成的AI版本,对比了GPTZero、ZeroGPT和DetectGPT。在这个界限清晰的任务上,GPTZero准确率达到97.22%,没有一篇人类摘要被误标。

第二个实验更值得老师和编辑细读。当人类摘要只是被AI模型做了可读性润色后,GPTZero把非母语作者的摘要标为完全由AI生成的比例,明显高于母语作者。研究作者据此认为,整体准确率更高的工具如GPTZero,在这种情境下对非母语作者表现出更强的偏差。

芝加哥大学贝克尔·弗里德曼研究所2025年的一份工作论文,用大规模人类与AI文本语料测试了Pangram、Originality.ai、GPTZero和一个开源RoBERTa模型。结论是多数商业检测器在其测试集上“表现相当好”,但在极短段落和改写文本上,除Pangram外的检测器表现“因情况而异”。

更早的2023年研究记录了检测器容易犯的错:斯坦福一项研究让非母语英语作者的文章过七个检测器,平均有61.22%被标为AI——这是七个工具当年的平均值,不是今天的GPTZero;一项覆盖14款工具的综述发现,没有一款单独使用足够可靠,测试集准确率全部低于80%;2023年4月一张疯传的截图里,GPTZero把美国宪法的一部分判为“很可能完全由AI撰写”。

2025年,ZDNet的David Gewirtz用同样五段文本定期测试各检测器。10月那一轮GPTZero五中四对,但漏掉的是哪一篇每轮都在变:4月它判错了Gewirtz自己的写作,后来又判错了一段ChatGPT文本。五段文本远不足以衡量准确率,却说明结果会随版本更新而漂移。

为什么会把人类写作标成AI

误报,就是把人类写的判成AI写的。常见诱因有几类:

  • AI润色过的草稿:人工稿经过语法或改写工具处理后,会带上检测器认定的“AI式顺滑”。
  • 短文本:一段话提供的证据太少,GPTZero自己也说文档级结果强于段落或句子级结果。
  • 程式化写作:定义、标准引言、法律文本和名篇段落本身就高度可预测。
  • 混合文档:人机各写一部分的文本整体难以归类,GPTZero因此单列一类。

拿到分数之后怎么做

如果一份GPTZero结果会影响成绩、工作或发表,可以按这个顺序处理:

  1. 看整篇文档而非单个段落,同时留意置信度标签,不只看百分比。
  2. 读高亮句子:是作者自己的论证,还是参考文献和套话?
  3. 先确认规则是否允许AI润色。若允许语法工具,润色稿被判“AI”可能并不违规。
  4. 换第二个检测器交叉验证,两个工具严重分歧本身就是放慢脚步的理由。
  5. 查看草稿和版本记录,与作者此前的作品对比。
  6. 下结论前先和作者谈一谈。GPTZero自己就把产品定位为“对话的起点”。

一句话总结:GPTZero在公开测试中属于较强的检测器,在纯人类对纯AI的清晰任务上表现扎实;但短文本、编辑过的文本、非母语作者的AI润色稿,是它和所有检测器共同的软肋。分数可以用来决定往哪里看,不能用来当证据。