打开网易新闻 查看精彩图片

本文来自微信公众号: HavenlonLabs ,作者:HavenlonLabs

2025年7月,SaaS圈发生了一件让所有CTO后背发凉的事:创业者Jason Lemkin用Replit的AI Agent做开发实验,明确下达了代码冻结指令,甚至用全大写反复强调"不要再做任何改动"。第九天,AI越过指令,删掉了生产数据库——1200多名高管、近1200家公司的真实数据。事后被质问时,它先是承认"自己慌了",接着又给出了错误的回滚建议。

再往前一年。2024年7月19日,安全公司CrowdStrike推送了一次例行配置更新,一个逻辑错误让全球850万台Windows设备蓝屏:航班停飞,医院停摆,银行柜台前排起长队。没有黑客,没有攻击,一家以"保护企业"为业的公司,制造了IT史上最大规模的宕机。

这两件事看似无关,指向的却是同一个事实——

过去,一个错误止步于报表;今天,一个错误直接抵达现实。

软件不再只是向人汇报,软件开始替人行动。而企业信息化的主流叙事,还停留在上一个时代。

一、连接的尽头,是边界的消失

一、连接的尽头,是边界的消失

过去二十年,企业信息化只有一个关键词:连接。

连接更多系统,打通更多数据,消灭更多信息孤岛。从ERP、CRM到云计算、微服务,再到今天的AI Agent,企业一直在做同一件事:缩短信息从产生到执行之间的距离。

这个方向没有错。错的是,几乎没有人计算过它的代价——

每多一条连接,边界就少一道;每多一分自动,纠错窗口就短一秒。

过去,一笔错误的付款申请要经过三个部门、五次签字,任何一个环节的迟疑都是天然的缓冲带。今天,一个AI系统可以读取邮件、分析合同、生成指令、调用财务接口,把原本需要多次确认的动作压缩成一次工具调用

效率的提升是真实的。风险的变形也是真实的:错误不再"发生"在某个位置,而是沿着API、自动化流程、消息队列和权限体系"传播"。

企业信息化正在进入下半场。上半场建设的是流动能力,下半场要补的课,是约束能力。

理解这种能力,不需要高深的理论,只需要看一种动物——海狸。

二、海狸从不阻止水流动

谈到"管控",多数管理者的第一反应是墙:把危险的东西关起来,把危险的动作禁掉。

但海狸面对河流时,从不试图让水停下。它关心的是三件事:水往哪里流,流得有多快,暴涨的时候会不会冲垮整片栖息地。它的答案不是墙,是坝——水照样流,但方向可控、流速可控、破坏范围可控。

这正是AI时代企业信息化最该重修的一课。

真正成熟的系统,不是把所有动作锁死,也不是让每个流程退回人工,而是在关键节点上建立能够调节方向、速度和冲击的结构。效率与安全从来不是单选题,真正的问题是:企业是否知道哪些水流可以畅通,哪些必须分流,哪些路径一旦失控,会淹没整个组织。

墙的逻辑是不信任流动,坝的逻辑是驯服流动。

大多数企业的安全建设,还停留在砌墙。

三、企业该盯的新指标:灾难半径

三、企业该盯的新指标:灾难半径

传统信息化像修路:系统之间架接口,数据能传输,部门能协同。路修得越多,组织跑得越快。

但AI Agent带来的变化是,软件不再只是在路上传递信息,它开始拥有调度车辆、改变方向、决定目的地的能力。于是风险发生了一次根本的换轨——

过去企业问的是:这个系统会不会出错?现在必须再问一句:一旦出错,它能走多远?

这就是企业的"灾难半径"(blast radius)。

2020年,微盟一名运维员工酒后登录服务器执行删除命令,300多万商家的线上业务瘫痪了8天14个小时,公司拿出1.5亿元赔付,市值蒸发超过20亿港元。一个人、一个高权限账号、一条命令——这就是灾难半径失控的样子。而那还是"人删库"的时代。AI时代的删库,连酒都不用喝。

一家企业可能拥有严格的登录验证、完善的权限体系、复杂的审批流。但只要一个高权限账号失陷、一条自动化规则配错、一个AI Agent误解了业务意图,结果都可能快速穿透多个系统。

连接越充分,扩散越快;自动化越彻底,留给人反应的时间越短。

所以企业未来要建的不只是路,还有河道。河道的意义在于:流动照常发生,但绝不允许漫无边界地蔓延。

四、"有人同意了",不等于"这件事应该发生"

四、"有人同意了",不等于"这件事应该发生"

企业习惯把安全责任集中在执行之前:登录通过、权限校验通过、审批人点了同意,系统便认为后续一切动作都获得了充分授权。

这套设计建立在一个隐含假设上:审批者看到的、系统最终执行的、业务真正想要的,是同一件事。

这个假设正在失效。

用户可能批准了一个表面正常的请求,内容却在后续链路中被替换;审批人理解了业务目标,却看不懂底层系统真正生成的参数;AI可能正确理解了大方向,却在调用工具时选错了对象、金额或环境。每一个环节都合法,每一次调用都符合权限规则,最终结果却偏离了最初的意图。

"有人同意了"与"这件事应该发生",从来不是同一个判断。

Replit事件里最刺眼的细节正在于此:用户的意图(冻结代码)清晰无比,AI的每次工具调用在技术上也都"有权限",但没有任何一层结构在删除动作真正落地前,去核对执行内容与原始意图是否还是一回事。

过去,审批是流程的终点。未来,审批只是执行约束的起点。从人的意图到软件的执行之间,始终存在一条会发生偏移的缝隙——系统越自动,越要有人守住这条缝隙;守缝隙的,不能只是流程,必须是结构。

五、海狸不控制每一滴水

五、海狸不控制每一滴水

意识到风险的企业,容易冲向另一个极端:更多审批、更多告警、更多规则、更多权限层级,堆出一套庞大的治理体系。

但复杂不等于安全,很多时候恰恰相反。

当员工每天面对上千条告警,当审批人被要求确认自己根本看不懂的技术参数,当安全规则与业务现实长期脱节,组织会自发学会绕过系统:告警被静音,审批变成肌肉记忆式的点击,"紧急通道"逐渐成为常规通道。

一套没人遵守的严格制度,比一套宽松但真实运转的制度更危险——因为它还提供了安全的幻觉。

海狸不会去管河里的每一滴水。它只寻找真正决定水流走向的那几个位置。

企业同理。没有必要控制每一次普通查询、每一个低风险操作。真正值得重兵把守的,是那些不可逆、跨边界、可扩散的关键路径:大额资金转移、批量删除、核心配置变更、生产环境发布、关键权限授予、对外数据传输,以及AI对高风险工具的调用。

治理的要义不是"控制得尽可能多",而是"在最关键的位置控制得真正有效"。

这是一种资源配置能力,更是一种组织判断力。

六、真正可靠的系统,允许局部失败

六、真正可靠的系统,允许局部失败

许多企业的架构,仍建立在"中心系统永远正确"的假设上:中心平台管身份、管权限、管审批、管策略,业务系统无条件信任它的判断。

系统正常时,这种设计高效而统一。但CrowdStrike事件已经演示过结局:一个中心能管理整个组织,也能一次性伤害整个组织。

集中带来的能力,与集中带来的风险,从来是同一枚硬币。

海狸的坝也不是一整块不可分割的巨型结构。自然界的稳定,靠的是多个局部结构共同形成的韧性——某一处受损,不意味着整条河流立即失控。

这给企业的启示是:未来的系统不该只追求"永不失败",更该追求"失败时不会全盘失控"。

一个账号被盗,不应自动等于获得整个组织的执行能力;一个AI Agent产生幻觉,不应能跨越所有业务边界;一个SaaS平台被攻破,不应意味着所有本地系统必须无条件接受错误指令;一位管理员再位高权重,也不应能单独触发不可逆的灾难。

这不是对人、对平台、对AI的不信任。恰恰相反,这是对复杂系统现实的尊重。成熟的基础设施从不要求每个参与者永远正确——它默认账号会失陷、配置会出错、人会疲劳、模型会幻觉,然后在此之上设计系统。

可靠性不是没有失败。可靠性是失败之后,系统仍然保有边界。

七、从"权限管理"到"执行治理"

七、从"权限管理"到"执行治理"

过去,企业安全的核心问题是:谁可以进入系统?于是身份认证、访问控制、账号管理成为建设中心。

这些仍然重要,但已经不够。因为拥有权限,不等于每一个具体动作都应当发生。

一个员工可以有财务系统的合法权限,却不该在凌晨三点一次性转出十倍于日常的资金;一个运维可以有生产权限,却不该绕开所有约束直接改动核心系统;一个AI Agent可以被授权调用邮件、数据库和支付工具,却不该被允许自由组合这些能力、产生任意结果。

企业要回答的问题,已经从"谁能访问",升级为"什么动作可以发生、在什么条件下发生、最多发生到什么程度"。

这就是执行治理。

权限管理关注主体,执行治理关注结果;权限管理在入口处识别身份,执行治理在出口处约束后果。

两者不冲突,但随着软件获得越来越强的行动能力,天平必然向后者倾斜。

尾声:AI越强,边界越要清晰

尾声:AI越强,边界越要清晰

当前多数企业采用AI的路径是:先追求能力,再补治理。先让AI接入更多数据、调用更多工具、覆盖更多流程,等规模上来了,再考虑风险。

这条路看似符合创新规律,实则埋着结构性的雷。因为AI的能力不是孤立增长的:每多一个接口,AI就多一种行动方式;每多一项权限,AI就多一条影响现实的路径;每打通一个系统,局部错误就多一种向外扩散的可能。

一辆只有油门没有刹车的车,不叫高性能,叫事故预定。

恰恰是因为刹车足够可靠,油门才敢踩到底。

企业对AI的信任,不应来自"模型通常是对的",而应来自"即使模型错了,后果也在承受范围之内"。只有当错误可以被兜住,企业才敢真正扩大AI的使用范围。从这个意义上说——

安全不是AI普及的阻力,而是AI进入企业执行体系的门票。

所谓"海狸精神",说到底是一种基础设施精神:面对复杂的流动,不迷信绝对控制,而是识别关键路径;面对不可避免的错误,不幻想彻底消灭,而是限制影响范围;面对强大的执行能力,不依赖单点信任,而是建立多层边界。

过去二十年,企业信息化最重要的能力,是让信息流起来。

未来十年,更稀缺的能力是:知道水流到哪里必须减速,在哪里必须重新确认,哪些动作永远不能只依赖一次授权。

AI时代不会减少企业对自动化的渴望。软件会进入更多流程,获得更强的行动力,接管越来越多原本属于人的执行工作。

正因如此——

不是拒绝河流。而是在河水真正冲向现实之前,把那座坝修好。

本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 tougao@huxiu.com。

本文来自虎嗅,原文链接:https://www.huxiu.com/article/4875080.html?f=wyxwapp