周三下午,某跨国制造企业的采购AI代理在扫描供应商数据时突然停下。它发现核心原料的库存骤降,而唯一可替代的渠道报价超出原预算5万美元。一条预设的硬规则被点亮:替换成本超过阈值,立即冻结操作,等待人工审批。屏幕上弹出红色警示——“人在回路”门控已触发,除非有人亲手点击“继续”,否则下一步永远不会执行。

这个瞬间暴露出一个被反复争论的问题:企业级AI到底应不应该有完全的自主权?从业者中间,大致能分出两派。一派态度干脆:既然要让AI加速业务,人的介入就是瓶颈。人看一条审批,可能耽误几分钟甚至几小时,在供应链争分夺秒的时刻,这种“开关”等于把效率拱手让人。他们认为真正的目标应该是逐步把“人在回路”削弱到零,让代理自己能跑完整个流程,人只做事后审计。换句话说,就是让AI从“人必须点头”退到“人可以随时叫停”,再进到“人只看日志”。

打开网易新闻 查看精彩图片

另一派则警觉地盯住风险。他们翻出的反例很直接:如果一个临床辅助系统发出用药调整建议,AI自己报出来的置信度是70%,这个数字用来生成内部邮件草稿勉强凑合,但放在诊疗场景里就是事故。哪怕要求每个高风险步骤都加一道人工硬闸,多出来的成本也并不冤枉,因为一次误判就足以抹掉此前所有自动化的收益。在他们看来,把自主和聊天机器人非黑即白地对立起来,本身就是对生产的过度简化。

争论的双方其实都落在同一个错误里:把“自主”当成一个二值开关。原文的观点很明确——自主是一个光谱,而决定某条工作流位于光谱哪一点的,应该是组织的风险偏好和假正例所带来的实际代价。这个光谱上存在三种典型工作模式:第一种是“人在回路”(Human-in-the-Loop,HITL),这是一种同步硬阻断,代理没有人的明确触发信号就无法推进下一步,常见于高风险金融交易或给药剂量变更。第二种是“人监回路”(Human-on-the-Loop,HOTL),这是一种异步监督,代理照常执行工作流,人实时或准实时看板,保留否决或撤销的权力,在决策到达不可逆状态之前按下暂停键。第三种是“全自主”(Human-out-of-the-Loop,HOOTL),代理走完整条链路,人的介入完全是回溯性的,仅负责通过日志审计和系统迭代来调整规则。

一条业务流程并不需要永远钉死在同一个模式里。试运行阶段可以先从HITL起步,当团队对决策质量建立信心后切换到HOTL,最终对低风险子任务开放HOOTL。这种递进关系构成了任何一个代理式AI治理框架的核心。

光有模式还不够。什么时候该停下来求助,不能指望大语言模型自己“知道”自己糊涂了。原文提出了一套双触发机制。第一类是确定性触发,这是硬业务规则,没有任何推理空间。就像开头采购代理的例子,金额破限就直接冻结,一票否决。第二类是概率触发,基于不确定性量化,也就是让代理自行报告某个动作的置信度分数。如果该分数跌破85%,或者在一个多代理链里两个不同“角色”的意见发生冲突,任务就被标记待审。

但静态的阈值同样危险。70%的置信度对写内部邮件可以放行,对制订临床照护计划就是灾难。因此,触发门槛必须绑定具体的任务类型和上下文,而不是拿一个全局数字套在所有场景上。企业需要的是一套可以编排的断路器机制,让确定性规则和概率评分组合起作用,风险高时硬截断,风险低时给代理放权。

所以,企业AI的自主根本不是在“全自动”和“聊天框”之间二选一。它更接近于在操作速度和风险敞口之间画一条曲线,让人类干预成为战略性的检查点,而不是硬憋出来的开关。什么时候把回路拉紧,什么时候松开,这个决定本身,才是编排的真正落点。