随机森林在装袋法的基础上,只多了一条限制:每次分裂节点时,每棵树只能考虑一个随机特征子集。这种人为的“减配”操作,强迫每一棵决策树从不同的角度看待数据,彼此之间无法形成统一的偏见。最后,将这些差异巨大的弱模型通过投票或平均汇总,其整体误差反而远小于任何一棵强树。

这个逻辑,用一个古老的村庄寓言来讲,会变得异常清晰。上一次,预言村发明了“陪审团制度”,用十二位法官取代独任审判,通过投票避免了判决被个人情绪左右。但新的麻烦很快来了:在一起谷物盗窃案中,证据室里摆着二十件物证,其中一件是被伪造的认罪书,就明晃晃地放在桌上。首席长老布斯发现,十二位法官的确独立入场,可每个人都首先看到了那份最显眼的伪证,然后立刻做出了同样的有罪判决。

打开网易新闻 查看精彩图片

布斯意识到,所谓的十二个独立意志根本不存在。那只是一种错觉。法官们面对相同的全域信息,被证据室里最突出的那只“靴子”吸引了全部注意力。如果他们全都犯了同一个错误,那么把十二个相同的错误加起来取平均,得到的还是那个错误。平均法只能消除指向不同的误差,如果所有人的失误方向完全一致,误差不仅不会消失,反而会被叠加锁定。而那份认罪书,事后证明,是伪造的。

布斯的解决方案听起来极其反常,甚至冒犯。她向村议会提议:随机蒙住每个法官的眼睛,而且每个人的蒙法都不一样。在法官进入证据室之前,书记员会随机遮住大部分区域,每人只能看到其中四件随机的证物。一号法官只能看到认罪书、账本、谷仓锁和车辙;二号法官只能看到证人A、谷仓、天气记录和推车;三号法官只能看到账本、天气、证人B和麻袋。二号、三号和四号法官压根没见过那份伪造的认罪书,他们被迫从其他破碎的信息碎片中去推测真相。

从个体能力看,每个法官毫无疑问都变弱了,他们依据的是残缺不全的局部证据,单拎出来做出误判的概率大增。但换个视角,整个陪审团却因此变得前所未有的强大。因为伪造的认罪书再也无法同时支配所有人的判断,不同法官的失误被强制引向了截然不同的方向。当他们最终投票时,正负相抵,占多数的真相便浮现出来。这在机器学习里,被精确概括为:随机森林通过最大化树与树之间的“不相关性”,将装袋法降低方差的威力发挥到了极致,让一个有缺陷的手工作坊,打败了精密的单一思维。

当然,这种“故意致盲”的操作并非没有代价。算法工程师在调节随机森林时,最核心的超参数之一就是每棵树能看到的特征数量。如果每棵树被剥夺得太多,相当于每位法官掌握的信息太碎片化,单棵树的判断精准度会跌到及格线以下,即便差异再大也无法通过投票翻盘。反之,如果限制太弱,树与树之间重新变得相似,又退回了伪证支配全场的困局。最佳状态,往往是一群各执己见、稍微有点偏科和固执的专家,而非一群复印机。