2023年11月,UnitedHealthcare被告上法庭。起诉书里的一个数字让医疗AI从业者后背发凉:他们用来拒赔的AI模型nH Predict,错误率高达90%。换句话说,每10个被拒赔后选择申诉的老年患者,9个都被人工复核翻案了。
但公司没打算修这个bug。只有0.2%的参保人会申诉,剩下99.8%的人默默认栽。模型预测的是"会不会有人闹",不是"该不该赔"。
这起诉讼在2024年12月CEO Brian Thompson遇刺后彻底出圈。人们突然意识到,当算法把"预测准确"当成唯一目标,却从不追问"为什么拒赔"时,系统就变成了一个自动收割机——收割的是那些没力气申诉的老人。
法律界的态度变了。法官不再接受"模型就是这么说的"作为辩护理由,开始要求企业证明决策的因果链条。一个预测模型和一次医疗决策之间,隔着一条叫"责任"的河,UnitedHealthcare没搭桥,直接让人游过去。
目前nH Predict仍在部分业务线运行,但申诉率已经从0.2%涨到了4.7%。算法还是那个算法,只是用户终于学会了怎么跟它吵架。
热门跟贴