把模型预测的可信度做到“至少90%的保证”——而且对任何模型、任何数据都管用，听起来是不是好得不像真的？这正是共形预测（Conformal Prediction）给出的承诺。该方法的源头要追溯到上世纪90年代末，Vladimir Vovk、Alexander Gammerman和Glenn Shafer围绕随机性本身提出的一个问题。Vovk曾师从现代概率论奠基人之一柯尔莫哥洛夫，他们抛掉了一个难啃的硬骨头：“这个新答案正确的概率是多少？”转而换了一个巧妙的问法：“如果我假设这个答案是对的，那我手里这堆数据看起来有多奇怪？”这一思维转换，正是共形预测的全部诀窍。

这种用已有数据度量“异常程度”的做法，在随后约15年里一直是一个小众研究圈子里的东西。直到2020年前后，三个因素叠加才把它推向了广泛应用。深度学习爆发带来了对可信不确定性度量的迫切需求——正是第一章里描述的那种模型过度自信；2021年，Anastasios Angelopoulos和Stephen Bates发表了一篇清晰友好的教程，把理论翻译成了工程师能看懂的版本；一批现成的软件库陆续出现，让这个方法从需要投入整项研究变成了几行代码的事情，其中就包括后面会提到的MAPIE。

打开网易新闻 查看精彩图片

共形预测的全流程，可以完全不用数学就讲清楚。首先，你已经有了一个训练好的模型，但你并不信任它给出的置信度数值——第一章已经解释了原因。同时，你还必须有一叠模型在训练过程中从未见过的带标签样本，也就是你已经知道正确答案的那些输入。这一叠数据我们称为校准集，可以把它想象成一次对模型的公平考试，而你手里握着标准答案。

给模型“打分”的方式有些特别：对校准集中的每一个样本，你只问一个问题——模型在这一个样本上做得有多糟？你把这个糟糕程度凝聚成一个数字，数字越大代表模型表现越差。这个“做得多糟”的数值，就是整个方法中最关键的一块拼图。接下来，当你拿到一个从未见过的新输入时，不需要再去估计那个困难重重的“正确答案概率”，只需要度量：如果这个候选答案就是真值，它在校准集构建的“异常度”分布里，处在一个寻常位置，还是看上去格外刺眼。凡是与已有数据不矛盾的答案，都被收纳进最终输出的那个小集合里，而只要校准集对数据分布有代表性，真值落在集合里的频率就能得到严格的统计保证——比如达到90%。

由此，一个看似无解的难题被巧妙地绕开。共形预测不依赖任何关于数据分布的假设，也不要求模型有多么完美，它只是把“不确定性”这个抽象命题，转化为一份用已有数据做过试卷的评分记录。这一思想朴素却牢固，后续的一切繁琐推导都是在此基础上做的记账工作。当深度模型在真实场景中给出一个过分自信的预测时，共形预测就能用这套机制把可能正确的答案圈出来，附上一个几乎不会出错的上限承诺。