训练一个模型分辨猫和狗。喂它几千张照片,直到它几乎张张都答对。然后给它看一辆车。
它不会犹豫,也不会说“这不是动物”。它会说“狗,置信度92%”——面不改色地答错。
这不是某一个模型的缺陷,而是分类器的工作方式。
被迫做选择
普通分类器没有“我不知道”这个选项。它最后一层的softmax会把原始分数换算成概率,而这些概率之和恒等于1。所以无论你给它看什么——一辆车、一个手写数字、一张它从没训练过的医学影像——它都必须把胜算判给某个它认识的类别。
它输出的那个置信度数字,看上去像自我认知,其实不是。它只说明输入最像哪个已知类别,并不说明输入是否属于任何已知类别。研究人员至少从2017年就知道这一点:Hendrycks和Gimpel当时指出,模型的最高softmax概率对陌生输入只是一道很弱的防线——但那是人们拥有的第一道防线,至今仍是其他方法对比的基线。
OOD检测是什么
OOD指分布外(out-of-distribution),即来自模型训练数据之外的数据。OOD检测是挂在分类器旁边的一道护栏,做两件事:
- 给每个输入打一个“陌生度”分数。分数高意味着“看起来熟悉”,分数低意味着“看起来陌生”。
- 划一条线,也就是阈值。分数低于这条线,系统就标记该输入,而不是相信预测结果。
整个思路就这么简单。这个领域其余的一切争论,都围绕分数该怎么算、线该划在哪里。
近与远:真正要紧的那一类
并非所有陌生输入都同样陌生。
远OOD很明显:给狗分类器看一个手写数字。特征和训练数据毫无相似之处,几乎任何评分方法都能抓到。
近OOD才难:给狗分类器看一只狼。毛、耳朵、口鼻都相似,大部分特征重叠。模型恰恰在最该谨慎的地方最有把握。
远OOD算是个基本解决的问题。近OOD仍是这个领域的难点,而它正是真实部署中会出现的情况——新的疾病变种、另一个国家的路标、不同光线下拍的产品照片。
几种评分方法,用大白话说
翻OOD论文,有四类评分反复出现:
- MSP——最大softmax概率。直接取模型的最高置信度。简单、免费,是Hendrycks和Gimpel(2017)的基线。效果弱,但一切都拿它作参照。
- Energy——用模型的原始logits而非归一化后的概率计算(Liu等,2020)。区分熟悉与陌生比MSP更干净,且不增加额外计算成本。
- 特征距离——不看最终答案,看输入落在网络内部的什么位置。它离训练样本有多远?用马氏距离衡量,或看最近邻(kNN)。如果它离模型见过的一切都很远,就标记它。
- ViM——虚拟logit匹配。一半是特征距离,一半是残差:它衡量输入特征中分类器自身方向无法解释的那部分(Wang等,2022)。解释不了的剩余量就是信号。
这些方法都不重新训练模型。它们读取一个冻结的模型,用不同方式问同一个问题:这个输入属于这里吗?
怎么判断一个评分好不好
两个数字承担了大部分工作:
- AUROC——评分把熟悉输入和陌生输入分开的能力。50%意味着在瞎猜,100%意味着完美分离。
- FPR95——当你抓到95%的陌生输入时,有多大比例的正常输入被误标?越低越好。这个数字在实际中最疼,因为每一次误标,都是一个你拒绝回答的真实输入。
为什么重要
错误答案不总是无害的答案。一个医学模型自信地误读来自新医院的影像,一个自动驾驶系统自信地误读陌生路标,一个内容审核过滤器自信地放行它从没见过的东西——在这些场景里,自信犯错的代价,远高于说一句“不确定,请人工处理”。
OOD检测不是让模型更聪明,而是让它们更诚实。
它还没解决什么
坦白局限,是理解这个想法的一部分:
- 近OOD仍然难。最好的评分几乎能完美分开远OOD,对近OOD只能部分分开。
- 阈值需要真实数据来定。用错数据划线,结果要么什么都标记,要么什么都不标记。
- 没有哪种评分处处最优。在某个数据集和模型上最好的评分,换一个可能就平庸。这也是这个领域要并排跑这么多基准的原因。
作者Solomon是北达科他州立大学的硕士生,用大白话写机器学习。
热门跟贴