过去几年,几乎所有关于 AI 安全的讨论,都建立在同一个默认前提之上:
AI 是被治理的对象,人是治理者。
由此衍生出一整套今天已经非常熟悉的制度语汇——Human-in-the-loop、人工审批、人工复核、人工兜底。"最终由人确认"被视为一种天然安全的结构,它出现在合规文件里,出现在产品设计里,也出现在几乎每一份 AI 治理白皮书的核心章节。
这个前提在 AI 只是辅助工具的时代是成立的。但当 AI Agent 开始持续运行、调用系统、分析海量信息、协调任务,甚至直接参与现实世界的执行,它正在遭遇一个越来越难以回避的事实:
人类未必还看得完整个过程。
于是,AI 时代真正需要讨论的问题,可能已经发生了位移。它不再只是"怎么让人管住 AI",而是另一种更根本的可能:
当 AI 已经成为判断和执行的一部分,我们是否应该开始建立一种人与 AI 共同参与、彼此约束的治理结构?
这里需要立刻澄清:这不是把权力交给 AI,也不是让 AI 与人类平起平坐。
恰恰相反,它指向一件更现实、也更古老的事——
如何避免任何一个主体拥有完整而不受约束的权力。
一、"人管 AI"是工具时代的思维,Agent 时代开始不够用了
在软件时代,系统通常等待人发出指令:人点击一个按钮,系统执行一个动作;人提交一张表单,后台完成一次流程。在这样的世界里,把人放在最后一道审批环节具有明确意义,因为执行速度、执行规模与人的认知速度大致处在同一个数量级上。
Agent 改变了这个数量级。
未来一个 AI Agent 可能在几分钟内读取数万个对象、调用几十个 API、修改大量系统状态、与其他 Agent 协作,并连续作出成百上千个局部决策。它不再是一次动作,而是一条持续展开的行为流。
这时,如果企业仍然坚持"每一步都由人确认",系统最终只会走向两个结果之一。
要么自动化失去意义——人重新成为整个流程的速度瓶颈,Agent 的价值被抵消殆尽。
要么所谓"人工确认"逐渐沦为形式——人看到一个看似完整的摘要,扫一眼,点击"Approve"。
第二种结果更值得警惕,因为它在制度上依然完好,在实质上已经空心化:
人仍然保留着确认权,却已经失去了理解整个执行过程的能力。
也就是说,"Human-in-the-loop"未必等于真正的人类控制。它可能只是保留了一个控制的形状。
当机器的行动速度超过人的理解速度,"最后由人确认"不等于"最后由人控制"。
这并不意味着人应该退出治理,而是意味着我们必须承认:人的治理能力同样存在天然边界。
人会疲劳,人不擅长持续分析几十万条状态变化,人也很难实时发现一个庞大系统中那些微小却危险的异常组合。当 AI 的运行规模已经超出人的实时认知能力,继续把"人工复核"当作唯一的安全答案,本身就可能是一种旧时代惯性。
AI 时代真正需要升级的,不只是模型能力,还有治理结构。
二、AI 不应该只是"被治理对象",也可以成为治理能力的一部分
我们很容易把 AI 想象成风险的来源:它会幻觉,会犯错,会被诱导,也可能被恶意利用。因此过去大量 AI 安全讨论都围绕同一个命题展开——怎么约束 AI。
这个命题当然重要,但它只讨论了 AI 的一半价值。
因为同一个 AI,也可以成为治理能力本身。
一个 AI 可以检查另一个 AI 的输出;一个模型可以在几十万条交易中识别异常模式;一个 Agent 可以持续核对权限变化、历史行为与当前状态之间是否一致。AI 还能够在极短时间内发现规则冲突、参数漂移、异常授权、上下文矛盾,以及那些人类根本没有注意到的风险组合。
AI 不只是新的生产力,也可能成为新的监督能力。
沿着这个方向,未来的企业治理很可能呈现为一种分层结构:一个 Agent 发起操作;另一个相互独立的模型判断该行为是否偏离历史模式;规则系统检查组织 Policy 是否被满足;人类只处理真正需要价值判断或需要承担重大责任的部分。
这与今天常见的"AI 做、人来查"已经不完全一样。差别在于,AI 本身开始承担一部分治理职能,而不只是被审查的对象。
这意味着我们需要改变一个长期存在的想象:AI 不是只能站在围栏里面,它也可以站在围栏的一部分位置上,帮助发现其他主体的错误——包括人的错误。
这一点尤其重要。因为很多关于 AI 治理的讨论都隐含着一个未经检验的前提:人类天然是可靠的治理者。
现实并非如此。人会误判,会疲劳,会被利益影响,会忽略信息,也会在压力之下作出错误决定。既然如此,AI 时代真正值得建立的结构就不应该只是"人监督 AI",而应该同时包括:AI 帮助监督人,人帮助监督 AI,不同 AI 相互检查。
于是问题本身发生了变化。过去我们问:
如何利用人限制 AI?
未来可能还应该问:
如何利用 AI 限制其他权力?三、共同治理不是"人一票、AI一票",而是治理能力的分工
一旦提出"人与 AI 共同治理",最容易出现的误解,是把它理解成一种平权结构:未来某个委员会里,三个人坐一边,三个 AI 坐另一边,然后投票表决。
这恰恰不是共同治理真正有价值的地方。
真正重要的不是票数,而是能力分工与权力拆分。
AI 有它明显擅长的领域:高速处理海量证据,保持规则检查的一致性,长时间持续运行不衰减,在复杂数据中识别异常,同时比较大量历史状态。
人类同样有 AI 难以替代的部分:人负责价值目标,人定义哪些结果不可接受,人处理重大例外,人决定组织愿意承担什么样的风险,人最终承担法律、伦理与制度上的责任。
因此,合理的人机共同治理不应该去追求"谁和谁地位相等",而应该回答一个更具体的问题:
什么判断应该交给谁。
AI 可以判断一笔交易是否异常,但什么叫"不可接受的异常",应该由组织来定义。
AI 可以发现一名员工的行为突然偏离过去一年的模式,但这种偏离究竟意味着风险、岗位变化,还是一次合理例外,往往需要人来判断。
AI 可以持续验证规则是否被满足,但规则本身为什么如此设计,必须由人类制度承担责任。
由此,人机共同治理的真正结构应该是:
不同类型的判断,由最适合它的主体承担;任何一个主体,都不能独自完成从判断到现实执行的全过程。
这也是"共同治理"与"共同投票"之间最大的区别。共同治理并不是把完整权力复制给更多主体,而是把完整权力拆开。
当权力被拆成不同部分:有人定义目标,AI 发现异常,系统检查规则,人处理高风险例外,执行层在动作发生前重新确认最终条件——任何一个关键事实不成立,执行都不能继续。
这才是真正具有结构意义的共同治理。
四、真正需要警惕的,不是 AI 权力太大,而是任何一方权力太完整
今天谈 AI 治理,一个最常见的答案是:无论 AI 多聪明,最终决定权都必须在人手里。
这句话听起来足够安全,但只要继续追问,就会浮现出一个更深的问题:为什么"完整的最终权力"一定要掌握在某一个主体手里?
如果 AI 不应该成为 God,那么为什么 Owner 可以?为什么超级管理员可以?为什么 SaaS 平台可以?为什么某一个审批人可以?
很多系统表面上在限制 AI,实际上只是把所有权力重新集中到了另一个地方。一个企业管理员可以修改规则、增加成员、重置凭据、调整审批阈值、调用紧急权限——只要这一点成立,那么无论前面铺设了多少人工审批、多少 AI 风控,真正的最高权力仍然只有一个。
因此,AI 时代最值得反思的可能不是:
AI 是否拥有太多权力?
而是:
为什么我们的系统总是在寻找一个必须拥有完整最终权力的人?
成熟的治理结构应该同时防止两种极端:不能让 AI 拥有无限权力,也不能让人拥有无限权力。
AI 可能犯错,人同样可能犯错;AI 可能被诱导,人也可能被收买、误导或绕过流程;AI 可能被攻击,管理员账号同样可能失陷。这些风险在结构上是对称的,把赌注全部押在其中一侧,并不比押在另一侧更安全。
所以真正的安全,不应该建立在"最终相信谁"之上,而应该建立在:
任何一方都无法单独决定现实如何发生。
这是一种完全不同的安全哲学。它不再试图寻找最可信的那个主体,而是承认——再可信的主体,也应该有边界。
五、共同治理必须治理"谁有资格参与共同治理"
人与 AI 共同治理一旦真正进入企业,就会立刻遇到一个更难的问题:
哪个 AI 有资格参与治理?
假设一家企业让一个 Risk AI 参与高风险操作的审查。那么:谁决定它可以加入?谁可以把它替换成另一个模型?谁可以改变它的系统提示词?谁可以扩大它能看到的数据范围?谁可以修改它的否决规则?
如果这些问题的答案统统是"管理员",那么所谓人与 AI 共同治理,仍然只是一层表面结构。因为最高一级的权力并没有被拆开,它只是换了个位置。
这是许多"共同治理系统"长期存在却很少被讨论的漏洞:一个人不能单独完成最终业务操作,并不意味着这个人没有最终权力。只要他能够单方面决定以后谁有资格参与治理,权力依然是集中的。
因此,真正的人机共同治理必须再往前走一步:
不仅治理 AI 能做什么,也要治理"哪个 AI 有资格参与治理"。
这意味着:加入新的治理者,需要治理;删除治理者,需要治理;更换模型,需要治理;修改阈值,需要治理;改变 Policy,需要治理;启动 Recovery,需要治理;甚至改变"什么叫共同治理"这件事本身,也必须重新进入治理流程。
这可以称为一种治理的闭合性:共同治理不仅治理业务状态,还必须治理治理结构自身的状态变化。
否则最终仍然会出现一个站在治理之外的人——大家共同管理系统,但总有一个人在系统之外管理"大家"。那并不是真正的共同治理。
真正的共同治理,必须能够约束自身如何发生变化。六、共同治理可以拆分权力,但不能稀释责任
把 AI 引入治理,还有一个必须提前讲清楚的问题:责任不能因此消失。
如果未来一家公司发生重大事故,不能最后得到这样一组荒谬的回答:人说,是 AI 建议的;AI 没有法律人格;平台说,是客户自己配置的;管理员说,是系统自动执行的。
所有人都参与了治理,却没有人承担责任。这不是共同治理,这是责任真空。
因此,人机共同治理必须同时建立两种结构:权力拆分,以及责任明确。
AI 可以参与判断,可以发现风险,可以拒绝某些动作,可以成为治理链上的独立检查者。但组织必须始终能够回答:谁定义目标,谁制定制度,谁批准重大结构变化,谁承担最终法律责任,谁处理例外,谁对错误结果负责。
共同治理不是为了让责任变得模糊。恰恰相反——当系统越来越复杂、参与主体越来越多时,责任边界反而需要被定义得更清楚。
可以拆分的是权力。不能消失的是责任。
共同治理可以让任何一方都无法独自决定结果,但不能让任何一方都不用为结果负责。
这可能也是人机共同治理最终必须坚守的一条底线。
AI 时代真正需要改变的,也许不是"谁压在谁上面":不是永远确保人站在 AI 上方,也不是等待某一天 AI 比人更会治理。
真正值得建立的是另一种结构——人类定义价值与责任,AI 提供持续判断与对抗性检查,系统把这些边界变成真正不能被任何一方单方绕过的规则。
过去我们讨论的是:如何让人控制 AI。
下一阶段真正重要的问题,可能会变成:如何让人、AI 与系统彼此约束,又共同完成治理。
因为一个真正成熟的 AI 社会,最终需要解决的从来不是谁拥有最高权力,而是:
我们能不能建立一种结构,让任何一个人、任何一个 AI、任何一个平台,都无法单独拥有完整而不受约束的最终权力。
热门跟贴