2023年,美国一家医院部署的临床AI系统在72小时内连续给出3次"低风险"建议,患者出院后病情恶化。事后复盘发现:模型本身没出错,只是没人检查"建议发出时"和"执行时"之间发生了什么。
这3个病例的共同点,暴露了所有自动化系统的致命盲区。
01 | 决策正确,执行翻车
Prime Form Calculus(PFC,主形式演算)团队复盘过数百起类似事故。他们的结论很反直觉:大多数系统崩溃不是因为算法错了,而是因为"决策"和"执行"之间隔着一道无人看守的峡谷。
想象一个场景。AI上午10点分析完数据,判断患者可以出院。这个结论在当时是成立的。但11点护士录入新症状,12点实验室补发报告——这些变化没人同步给已经"沉睡"的决策。下午2点,系统按原计划执行出院流程。
PFC创始人把这叫作"时间漂移"。决策的有效性像牛奶一样会过期,但传统架构假设它永远新鲜。
金融系统里同样上演。高频交易算法在微秒级生成买卖指令,但网络延迟或市场波动可能让"正确决策"变成"错误执行"。2020年某券商因类似漏洞损失4.6亿美元,事后调查发现:风控模型只审了决策,没审执行瞬间的市场状态。
02 | PFC的解法:给每个动作办"实时签证"
PFC的核心设计是插入一道"硬边界"。任何动作在执行前必须携带三张凭证:谁授权、依据什么政策、前提条件是否仍成立。执行瞬间,系统会重新核验这三项 against 当前状态。
不是打日志,不是发警告,是直接阻断。
这相当于给自动化流程装了一个"熔断式签证官"。签证在签发时有效,但入境时还要再查一遍护照、机票、健康码——任一不符,当场拒入。
医疗场景中,PFC会拦截那种"建议生成后患者状态已变"的出院指令。金融场景里,它会卡住那些"下单后市场深度已不足"的交易。基础设施领域,它能阻止"配置变更时依赖服务已下线"的部署。
不同行业,同一套底层逻辑:把"决策正确"和"执行合法"拆成两道关卡。
03 | 为什么大厂没先做?
这个需求看起来如此基础,却长期被忽视。PFC团队认为,原因在于架构惯性:现有系统的设计假设是"决策即授权",一旦AI或规则引擎输出结果,下游流程就默认获得了通行证。
这种设计在静态环境没问题。但现代系统的输入流是持续变化的——患者数据在更新、市场价格在跳动、微服务在扩缩容。决策和执行的时差里,环境可能已经换了一副面孔。
更隐蔽的问题是权限漂移。一个操作最初由医生发起,但经手AI分析、护士确认、系统自动归档后,"谁对最终结果负责"变得模糊。PFC要求每个动作携带完整的授权链,相当于给责任上了区块链式的溯源。
目前PFC已开源核心框架,官网列出的应用场景覆盖医疗、金融、能源、网络安全。他们的客户案例里有个细节:某医院部署后,系统拦截的"过时决策"中,有17%是模型本身无法识别的边缘情况——人类护士的临时备注、跨科室的口头交接,这些非结构化信息从未进入训练数据。
换句话说,PFC补上的不是算法的短板,而是"算法之外"的那片灰色地带。
04 | 一个待解的悖论
PFC模式也有代价。实时核验意味着延迟,延迟意味着吞吐量下降。对于毫秒级决胜的高频交易,这道关卡是否会成为新的瓶颈?团队目前的回应是"可配置的策略引擎"——关键操作走全量核验,非关键操作走抽样审计。
但"关键"与"非关键"的划分权,又落回了人类手里。
这引出一个更深的张力:我们建自动化系统是为了减少人为判断,但自动化本身的边界,又需要人为判断来划定。PFC没有解决这个悖论,只是把它推到了更上游——从"执行时"推到了"配置时"。
或许这就是基础设施类产品的宿命。它们不消灭问题,只是迁移问题。而迁移本身,就是价值。
PFC官网的文档区有个未完成的页面,标题是"当核验本身成为攻击面"。点进去只有一行占位文字:"正在记录真实案例。"
如果实时核验系统被攻破,伪造的授权链会不会比没有核验更危险?
热门跟贴