国际 | 调查的调查

但美国和巴西的选举表明,这项任务正变得越来越艰难。

打开网易新闻 查看精彩图片

“我们应该始终对许多事情感到恐惧,”安德烈·罗曼沉思道,“然而,我们对此却无能为力。”他的忧虑并非针对整个人类,而是针对人类一项不太为人所知的活动:选举民意调查。

罗曼先生的民调公司AtlasIntel在最近的中期选举前对美国选民的民意调查非常准确。但大多数民调机构低估了民主党的支持率。AtlasIntel在最近的巴西总统选举中也两次预测失误,先是预测左翼现任总统路易斯·伊纳西奥·卢拉·达席尔瓦将在第一轮投票中获胜,然后又预测他的对手弗拉维奥·博尔索纳罗将在第二轮投票中领先。许多其他民调机构也犯了同样的错误。

打开网易新闻 查看精彩图片

民调的准确性在下降吗?我们的分析表明并非如此。《经济学人》基于两位政治学教授威尔·詹宁斯和克里斯托弗·弗莱齐恩创建的数据集,分析了1946年至2026年间49个国家469场选举的民调数据。我们发现,在过去的80年里,民调的准确性略有提高。选举前十天内进行的民调平均值,对特定政党或候选人得票率的预测误差仅为两个百分点(见图表1)。

考虑到民调机构面临的诸多方法论挑战,这一结果更令人瞩目。民调有很多理由不应该奏效,但它却奏效了。事实上,它比其他方法更有效。

民意调查的原理很简单。如果你随机抽取足够多的样本,询问他们对某个特定话题的看法,你就可以相当准确地说,整个人群都持有相同的观点。早期民意调查先驱乔治·盖洛普将其比作品尝一碗汤。只要汤搅拌均匀,你只需要一勺就能知道它的味道。

实际上,要确保样本真正随机非常困难。著名的例子是,美国杂志《文学文摘》(Literary Digest)在1936年根据读者寄来的240万张明信片(如今这种样本量简直闻所未闻)推断共和党人阿尔夫·兰登将当选总统。然而,最终富兰克林·罗斯福以压倒性优势连任。样本量虽然庞大,但并非随机。

随后,民调行业开始拥抱“科学”方法,由此开启了一系列变革。20世纪50年代和60年代,大多数民调机构依赖于随机抽取地址进行面对面访谈。到了70年代和80年代,许多机构转向电话访谈,随机拨打电话号码。但普通选民接受民调的意愿已经下降。“我刚开始做这行的时候,人们认为电话调查可以获得50%的回复率,”与《经济学人》合作的民调公司YouGov的道格·里弗斯回忆道。现在他估计回复率只有1%到2%。

因此,大多数民调机构放弃了使用严格的随机抽样。如今,最常见的民调形式是采用自愿参与的在线调查小组,参与者完成每份调查问卷即可获得报酬。民调机构不再依赖随机性,而是依赖于不同类型受访者的配额以及事后“权重”,以调整样本使其更具代表性。例如,在加拿大公司莱杰(Léger)最近对美国人进行的一项民意调查中,60%的受访者年龄在55岁或以上。应用权重后,他们仅占调查总数的41%——这与理想的随机抽样相去甚远。

与某些阴谋论相反,民调机构非常重视选举调查的准确性。选举民调并非为了赚钱,而实际上是旨在说服客户委托其开展其他主题研究的广告。如果民调机构在选举中失利,就会损害其声誉。“我们过去常说,政治民调贡献了90%的宣传效果,但收入却不到1%。”益普索(Ipsos)——另一家民调公司——的前任负责人本·佩奇(Ben Page)说道。

然而,民调机构的判断仍然至关重要。例如,2016年,《纽约时报》向四家民调机构提供了当年佛罗里达州选民的同一份原始数据。经过加权处理后,这四家机构对选举结果给出了不同的结论。其中一份报告显示特朗普领先一个百分点;另一份报告则显示他落后四个百分点。

民调机构必须不断修正方法论上的错误,纠正上次选举的失误,并预测未来的错误。近年来,讨论的焦点集中在“无应答偏差”问题上:即那些不愿接受民调的人在政治上倾向于某个特定方向。随着许多西方国家的政治议题从经济转向文化,受过良好教育的选民——他们更倾向于参与民调——也逐渐转向中左翼政党。包括詹宁斯和弗莱齐恩在内的一组政治学家发现,全球民调往往高估左翼政党的支持率,平均高估幅度达1.4个百分点。

在美国,共和党人对大学和媒体等机构的怀疑态度加剧了这种影响,而这些机构往往是民调的委托方或发布方。在过去三届美国总统选举中,民调都严重低估了唐纳德·特朗普的支持率。《华盛顿邮报》在10月份对堪萨斯州参议员竞选进行的民调显示,32%的民主党人参与了调查,而共和党人的参与率仅为12%。如此巨大的差距不仅表明共和党人的参与度不足,也表明少数参与调查的共和党人可能并不具有代表性。

除了无应答偏差之外,在线民调机构还必须应对“低质量”受访者,这些人更感兴趣的是获得完成调查的奖励,而不是表达自己的观点。佩奇先生将剔除这类参与者的努力比作俄罗斯和乌克兰之间的无人机战争,双方都在以同样的速度进行创新。

詹宁斯先生表示:“民意调查越来越依赖于统计建模,而不仅仅是抽样。”中期选举中最成功的民意调查项目之一是《纽约时报》与锡耶纳学院的合作。今年,该团队采用了一套极其复杂的调查权重系统,该系统需要估算全国每位登记选民的左右政治立场,以确保民调结果具有意识形态代表性。此外,民调人员并没有像以往那样分别对每个人口统计特征进行加权,而是创建了一套新的系统,该系统根据受访者独特的特征组合与总体人群的差异程度来评估其权重(“能量平衡”)。之前的方法会高估民主党在参议院选举中的胜选优势,平均高估幅度达三个百分点。而新系统几乎没有偏差。

那么,民调机构在美国和巴西究竟犯了什么错误呢?罗曼先生在谈到巴西大选时表示:“选民动员在首轮投票和决胜轮投票中都发挥了前所未有的重要作用。选民在第一轮投票中并没有支持卢拉,但在第二轮投票中,他们却大规模地参与了投票。”博索纳罗先生在第一轮投票中获胜后,中左翼选民意识到他可能真的会成为总统。卢拉的支持者们士气高涨,尤其是在社交媒体上。总投票人数从1.19亿上升到1.24亿,卢拉赢得的选区,特别是大城市的投票人数增幅更大。最终,他以52%的得票率获胜——比选前民调的预测高出4个百分点。

民调似乎也误判了美国中期选举的投票率。《经济学人》分析了10月份发布的七项民调,这些民调都详细列出了样本构成。表示在2024年投票给卡玛拉·哈里斯的受访者比支持唐纳德·特朗普的受访者多出两个百分点。这一数字已经表明民调机构对投票率进行了一定的调整:实际上,哈里斯以1.5个百分点的差距输掉了选举。然而,出口民调显示,今年11月的实际选民更倾向于民主党,他们支持哈里斯的幅度比反对党高出5个百分点。如果对民调结果进行回溯性调整以考虑这一因素,民调显示民主党的领先优势将从9.5个百分点变为11.5个百分点,这可以解释大约一半的民调误差(民主党最终以14个百分点的优势获胜)。

对民主党而言,这种热情优势部分源于非裔选民,尤其是在南方各州,他们帮助民主党在深红州南卡罗来纳州和密西西比州赢得了参议员席位。《纽约时报》估计,非裔选民在这两个州的选民比例分别为24%和33%,比2024年增加了3个百分点。在其他地区,拉丁裔选民的投票率也高于以往的中期选举。与此同时,许多共和党选民选择待在家中。在哈里斯女士2024年得票率超过80%的县和选区,中期选举的投票率约为总统选举的81%。而在特朗普先生得票率超过80%的地区,这一数字则低了12个百分点。

选举暴露了民意调查的一个特殊缺陷。“我的总体看法是,如今的调查在获取非选民信息方面完全失败,”里弗斯先生说。民意调查的参与者通常比不参与调查的人更积极参与社会活动,也更有可能投票。与此同时,受访者在回答有关投票意愿的问题时,往往会过于乐观(或不诚实)。与人口统计问题不同,人口统计问题相对稳定,受访者也往往能准确回答,而投票率却是一个动态变化的因素。“通常的做法是询问人们在1到10分的范围内,他们有多大可能投票,”佩奇先生说。“但是,如果说自己投票意愿为8、9或10分的人数大幅增加,你会相信他们吗?”

打开网易新闻 查看精彩图片

尽管存在这种不足,民调结果的偏差也表明,民调机构正在努力改进其预测。在巴西,民调公司在第一轮投票后重新调整了调查结果的权重,以反映投票给博索纳罗的选民构成。尽管这导致他们在第二轮投票中高估了博索纳罗的支持率,但这种做法在方法论上是合理的。与此同时,美国民调机构也在努力纠正他们在2024年大选中的预测错误,当时他们低估了共和党的支持率(见图表2)。

《经济学人》今年对国会选举的预测旨在基于历史数据来预测民调误差。我们的模型错误地判断民调机构高估了民主党的支持率,因为预测的压倒性胜利往往低于预期。模型还判断,今年民调中未决选民比例较低对共和党有利,因为未决选民在中期选举中往往会投票反对总统所在的政党。这些因素意味着,我们模型的核心预测结果加剧了民调机构的误差,而不是纠正了这些误差。

美国和巴西民调预测结果的相似性,或许会让一些观察人士预测其他选举的民调也会出现同样的偏差。例如,乐观的中间派可能会得出结论:极化的右翼候选人总能激励中左翼选民违背民调结果。事实上,这正是法国中间派的希望,他们正谨慎地关注着明年的总统大选。民粹主义右翼政党国民联盟的领导人玛丽娜·勒庞在第一轮民调中领先,平均支持率约为35%。她在第二轮的大多数假设性民调中也领先。在过去两届总统选举中,法国中间派总统埃马纽埃尔·马克龙都以压倒性优势击败了勒庞,得票率略高于民调预测。

打开网易新闻 查看精彩图片

然而,民调出现重复误差的历史证据并不充分,更遑论跨越不同国家或不同候选人的总统选举。事实上,大多数民调中排名第二的候选人是左翼激进派让-吕克·梅朗雄,支持率约为17%。他是法国最具争议、最不受欢迎的人物之一,而自2022年以来,选民对勒庞女士的支持率有所上升。因此,两人之间的竞争不太可能激发选民的强烈意愿来阻止勒庞女士的当选。此外,法国民调机构可能已经从之前的错误中吸取了教训,甚至矫枉过正。虽然民调出现误差的可能性确实存在,但依赖民调结果绝非明智之举。(《经济学人》对法国大选的预测模型将于明年发布。)

同样,社会民主党人希望西班牙首相、左翼“逃脱大师”佩德罗·桑切斯能在2023年重演民调逆转的奇迹,继续执政。那一年,民调低估了他领导的社会党(PSOE)约三个百分点。这足以让他勉强拼凑出一个由左翼和地方政党组成的联盟,从而保住政权。《经济学人》对11月29日大选的民调追踪显示,社会党的支持率为27%,仅次于中右翼人民党的31%。然而,自2023年以来,桑切斯的联盟伙伴支持率大幅下滑,民粹主义右翼政党Vox的支持率则有所上升。右翼政党的联合支持率高达50%,根据西班牙的选举制度,他们应该能够赢得多数席位。左翼政党的支持率为35%,地方政党的支持率仅为9%。民意仍有可能转变,但如果民调结果保持不变,只有出现异常大的误差才能挽救桑切斯先生。

明年,那些焦虑的民调观察者无疑会希望波兰和意大利的民调结果也出现偏差,有利于他们支持的候选人。然而,目前没有任何迹象表明民调误差正在扩大,也没有迹象表明民调过去略微偏左的倾向已经转变为偏右。平均绝对误差为两个百分点并不能排除出现重大偏差的可能性,但考虑到民调中潜在的陷阱越来越大,这个误差已经相当准确了。从中期选举竞选初期开始,民调就明确显示民主党将大获全胜,尤其是在拉丁裔选民中会出现明显的倾向性转变。民调平均值预测的是一代人而非两代人以来最大的“蓝色浪潮”,这似乎也情有可原。

最重要的是,民调结果看起来比其他方法更可靠。在许多臭名昭著的民调失准案例中,例如英国脱欧公投或特朗普2016年当选总统,民调结果都比大多数专家预测的更接近最终结果。例如,在英国脱欧公投前对33名英国记者进行的一项调查发现,其中32人预计英国会投票留在欧盟。一些备受推崇的替代方法,例如社交媒体监测,从未真正流行起来。而另一些方法,例如预测市场或人工智能生成的调查,本身就依赖于民调。例如,那位著名的预测市场“巨鲸”据说就曾委托YouGov进行私人民调,他押注特朗普在2024年连任,并从中获利8000万美元。

尽管民调记录良好,但民调机构仍应坦诚面对自身的不足。对民调机构而言,这主要意味着保持透明。例如,《华盛顿邮报》和《纽约时报》在其委托进行的民调中,就提供了方法论说明,这有助于人们更好地理解本次选举的民调结果。更多关于抽样和加权的信息可以加强审查,从而更容易识别虚假民调和不正规的民调机构。即使民调结果出人意料,公布结果也有助于避免“羊群效应”,即民调机构因不愿冒险而导致结果出现偏差。

与此同时,民调的消费者必须了解其局限性。他们应该对任何单一民调结果持怀疑态度。尽可能参考多项调查的平均值,例如《经济学人》发布的调查。在所有选举中,他们都应该做好准备,民调结果对于每个政党或候选人都可能存在几个百分点的偏差。民调比以往任何时候都更加完善,但它们并非万无一失。