2025年3月，美国医疗安全监测机构ECRI把"AI治理缺失"列为年度第二大患者安全隐患。这个排名不是拍脑袋定的——它仅次于医疗领域的"煤气灯效应"，基于真实事故数据、文献和专家分析综合评估。ECRI明确警告：AI生成的误诊和不当治疗决策，正在造成患者受伤甚至死亡，而医护人员甚至难以判断错误是否源自AI。
8个月后，JAMA Health Forum的一项研究给出了更具体的数字。研究人员追踪了FDA批准的AI医疗设备召回记录，发现43.4%的召回发生在获批后第一年内。这个数字是普通510(k)设备召回率的两倍。更扎心的是，绝大多数被召回设备根本没做过临床试验；那些缺乏临床验证报告的设备，召回规模更大、次数更频繁。上市公司制造了53.2%的AI医疗设备，却贡献了91.8%的召回案例。
当算法否决医生：90%申诉被推翻，工具仍在运行
UnitedHealth的nH Predict算法诉讼仍在发酵。这款被保险公司用于预测患者康复周期的AI工具，被指控系统性推翻医生的护理建议，拒绝为老年医保优势计划成员提供急性后期护理。2025年9月，联邦法官驳回了UnitedHealth限制证据开示的请求，诉讼继续推进。
原告方披露了一个关键数据：超过90%的拒保申诉最终被推翻。这意味着算法最初的否决决定，在人工复核后几乎全部被纠正。但工具没有被停用，而是继续处理着成千上万份申请。一位参与诉讼的律师向彭博社表示，这相当于"用Excel表格决定谁该获得临终关怀"。
算法的黑箱特性在这里成了双刃剑。医护人员收到拒保通知时，看不到AI的具体推理过程，只能看到结论。当申诉成功率高达九成，问题显然不在医生的判断，而在算法的训练数据或目标函数——但使用者无从得知。
华沙交易所的75分钟：18%交易量引发的系统停摆
2025年4月7日，华沙证券交易所因算法交易订单洪峰暂停交易约75分钟。当天全球市场剧烈波动，WIG20指数日内暴跌7%，触发熔断前交易所被迫技术性停牌。彭博社后续报道显示，算法交易和高频策略在前一年占华沙股票交易量的18.4%，交易所已开始审查相关监管规则。
这不是Flash Crash（闪崩）的重演，而是另一种模式：当市场波动率飙升，大量自动化策略同时调整仓位，形成正反馈循环。人类交易员还在消化新闻，算法已经完成了数千笔订单。交易所的撮合引擎没崩，但流动性已经蒸发——买单和卖单在极端价格区间错配，市场失去了发现价格的功能。
波兰金融监管局事后承认，现有的"断路器"机制设计于人工主导交易的时代，对算法集群行为的响应速度不足。一个细节值得玩味：停牌期间，部分场外衍生品交易仍在继续，导致期货与现货价格出现罕见背离。当交易所恢复交易，套利算法立即涌入，又在几分钟内抹平了价差。
为什么这两个行业特别脆弱
医疗和金融共享一个特征：决策链条长，但纠错窗口短。医生从怀疑AI诊断到确认错误，可能错过最佳治疗时机；风控团队从发现模型异常到切断交易，可能已有数千万美元头寸暴露。更麻烦的是，这两个行业的专业人士都面临"算法权威"的心理压力——系统给出的数字往往比人的直觉更具说服力，即使前者明显荒谬。
ECRI在报告中提到一个被忽视的环节：医疗机构的IT部门通常负责AI系统的部署和维护，但临床安全责任归属模糊。当放射科的AI辅助诊断工具漏诊，是放射科医生担责，还是采购该系统的管理层担责，抑或是提供算法的供应商担责？2025年的多起诉讼显示，原告倾向于起诉所有相关方，而被告则互相推诿。
金融领域的责任划分相对清晰，但技术复杂性制造了新的盲区。华沙交易所事件中，涉事的算法交易策略来自多家不同的做市商和资管机构，没有单一主体触发停摆。监管者面临一个经典困境：限制算法交易比例可能损害市场流动性，放任自流则可能重演系统性风险。
监管正在补课，但速度差了一拍
FDA在2025年更新了AI/ML（机器学习）医疗器械的审批指南，要求厂商提交"预定变更控制计划"，即提前说明算法将如何持续学习和更新。但这不溯及既往，已上市设备的监管真空仍然存在。JAMA研究的作者建议，FDA应考虑将AI设备纳入更严格的上市前审批（PMA）通道，而非现行的510(k)简化程序——后者允许通过与已上市设备"实质等同"获批，无需全新临床验证。
欧盟的《人工智能法案》于2025年全面生效，将医疗诊断AI列为"高风险"类别，要求全生命周期审计追踪。但法案的执行细则仍在制定中，厂商的合规成本尚未明朗。一位医疗器械法规顾问向MedTech Dive透露，部分美国厂商正考虑退出欧洲市场，因为合规投入可能吞噬利润。
金融领域的监管响应更快，但技术迭代更快。美国证券交易委员会（SEC）在2025年初提出了针对券商算法交易的" kill switch"（紧急切断）强制要求，但规则制定流程预计持续18个月。与此同时，生成式AI开始被用于撰写研究报告和生成交易策略，现有的监管框架完全没有覆盖这一场景。
华沙交易所的75分钟停摆，最终没有演变成系统性危机。但交易所技术负责人在事后复盘会上承认，如果当天的波动幅度再扩大2个百分点，熔断机制可能无法阻止订单簿彻底清空——那将是一个没有价格的市场，算法仍在运行，但已无人可交易。
当90%的AI拒保决定被人工推翻，这个比例本身是否该成为停用算法的触发条件？还是说，只要成本核算下来AI仍比全人工审核省钱，它就会继续运转——毕竟申诉流程本身也是成本的一部分？
热门跟贴