去年5月,杭州师范大学王金、范文翔团队还在《自然》子刊发论文,说ChatGPT对学生学习有"中等到较大"的正面效果。现在这篇论文被撤了——从发表到撤稿,刚好一年。
一图看懂:这篇论文是怎么"翻车"的
打开网易新闻 查看精彩图片
先画个简单的结构图,帮你理清这件事:
【顶层】研究类型:元分析(meta-analysis)——把51篇已有研究打包再分析
【中间层】数据来源:2022年11月到2025年2月发表的51项研究
【底层结论】原论文声称:ChatGPT对学习表现、学习感知、高阶思维都有正面作用
问题就出在这三层结构的中间层。元分析的价值完全取决于底层研究的质量,如果那51篇原始研究本身有偏倚,打包后的结论就是"垃圾进,垃圾出"。
撤稿原因:数据问题还是方法缺陷?
《自然》的撤稿通知没细说具体原因,只提到"对数据可靠性的担忧"。
这种模糊表述通常有几种可能:原始研究筛选标准过宽、效应量计算有误、或者存在发表偏倚(只选阳性结果的研究)。
元分析领域有个老笑话:用统计方法把一堆噪声合成信号,最后得到的是"精确的噪声"。这篇论文可能踩的就是这个坑。
为什么这件事值得科技从业者关注
第一,AI教育应用正处于"概念验证"到"规模化落地"的转折点,任何顶刊的负面信号都会影响采购决策。
第二,这篇论文被引用了多少次、进了多少份政策简报,目前还没统计——但学术声誉的损失已经造成。
第三,也是最实际的:如果你所在的公司正在做AI教育产品,用户可能会拿着这篇撤稿新闻来质疑效果。提前准备回应口径,比事后灭火强。
学术界的自我纠错机制在运转,这本身是好事。但对依赖论文做商业判断的人来说,留个心眼:顶刊光环≠结论保险,元分析尤其如此。
热门跟贴