Nature正刊 | 大语言模型能预测社会科学实验真实处理效应？！|实验|正刊|社会科学|神经科学|论文

认知神经科学前沿文献分享

基本信息

Title:Large language models can predict the results of social science experiments

发表时间:2026-07-08

发表期刊:Nature

影响因子:56.1

获取原文:

1. 添加小助手:PSY-Brain-Frontier即可获取PDF版本

研究背景

大型语言模型（large language models, LLMs）已经能模仿很多人类语言反应，但社会科学实验看的不是单个回答像不像人，而是随机条件之间的处理效应（treatment effects）。这篇 Nature 论文问的是一个更窄也更难的问题：模型在看到人口学特征、实验刺激和结果问题后，能不能预测美国社会科学实验中真实样本的效应大小排序，而不是复述论文结果，或假装生成一名受访者的答案

实验设计与方法逻辑

作者让 GPT-4 等模型扮演不同人口学特征的美国参与者，在各实验条件下作答，再用条件均值计算 LLM-derived predictions。主要档案包括 70 个预注册、全国代表性调查实验、469 个效应和 119,330 名参与者；补充档案包括 15 个大型多处理实验（megastudies）、606 个效应。评估指标有相关、调整相关（adjusted correlation, r_adj）、误差、校准斜率。论文还把模型预测与人类、专家预测作比较，并讨论可能用途、偏差和误用风险

核心发现

发现一：GPT-4 对主要调查实验的效应排序预测很强

在 70 个美国文本型社会科学调查实验中，GPT-4 预测效应与真实效应高度相关，r = 0.85，r_adj = 0.92；较新模型和若干开源权重模型也有不错表现。主要问题在绝对数值：模型预测的效应大约是真实效应的两倍，存在系统性高估（systematic overestimation）

Fig. 1 展示了 LLM 预测处理效应与原始处理效应的对应关系，也比较了不同模型和研究子集的相关性。模型能分出较大和较小效应，但原始尺度需要重新校准

发现二：未公开研究中仍有高相关，但训练数据泄漏不能完全排除

对 GPT-4 训练数据截止前未发表或未公开的研究，模型预测仍保持高相关；截至 2025 年 6 月仍未发表的研究也呈现类似模式。这让“模型只是记住已发表结果”的解释变弱了

Fig. 1 的稳健性分析显示，未公开或较晚公开研究子集仍有较高预测相关。这说明 LLM 对新实验效应含有预测信息，但不能证明训练数据影响为零

发现三：在 megastudies 中表现下降，但与专家预测量级相近

在 15 个 megastudies 的 606 个效应中，LLM 预测与真实效应的总体相关降至 r = 0.39、r_adj = 0.48，低于主要调查实验档案。它表现较好的场景仍然是文本处理和调查结果；遇到非文本处理、现场行为结果和小效应时，预测难度明显上升

Fig. 2 比较了 LLM 与专家预测在 megastudies 中的相关性。LLM 可以作为额外预测来源，但它的适用范围受实验材料和结果类型限制

发现四：校准后有辅助价值，也带来偏差和误用风险

重新校准后，LLM 预测可以辅助 pilot testing、识别可能需要复制的效应，并小幅提升专家选择干预的表现。但问题也很清楚：模型在部分群体上的准确性有小差异，对 white 和 Republican 样本更有利；疫苗相关 Facebook 帖子的分析还显示，模型可能被用来筛选会降低接种意愿的内容