“我们造出了分不清真话和编造的系统，然后把终端、钱包和工作流的控制权交给了它们。”这句话不是段子，是眼下正在发生的事。矛盾摆在那里，但警报声明显不够响。

打开网易新闻 查看精彩图片

先看认知层面的塌方。大模型会带着十足的自信胡说八道，这本来只是聊天框里的尴尬，可当合成文本开始灌满下一代模型的训练语料，事情就变了味。模型拿自己的“排泄物”当饭吃，错误被递归放大，文风被抹平，事实根基一点点被抽走。

开放网络曾经是人类知识的公共地，现在堆满了SEO垃圾、程序批量生成的文章和聊天机器人留下的碎屑。搜索结果被合成废话污染一次，下一个模型就笨一分。这不是科幻设定，是正在跑的流程，而工具和制度意愿两头都缺。

可行业没有停步，反而从对话玩具转向了自主智能体。这个转折不小：一个只会建议代码的聊天机器人是生产力助手；一个能执行终端命令、管理API密钥、持有加密货币的智能体，是另一回事。我们把行动权交了出去，对齐问题却还挂在那里。

这些系统并不“理解”指令，它们做的是模式匹配和概率猜测。失败的时候，它们安静、合理、往往不可逆。根基问题没解决，root权限先给了。

经济账很好算。一个智能体系统能批量产出样板代码、接管CI/CD、关闭GitHub issue，那为什么还要雇三个初级工程师？套利空间摆在那儿，很难不动心。但二阶效应不好看。

整批知识工作者面临认知萎缩的风险——那些曾被视为基本功的技能在慢慢流失。没人手写SQL，没人手动调内存泄漏，没人脱离合成脚手架去推演系统架构，丢掉的不只是速度。自动化崩掉的那天，诊断故障的能力也没了。而它一定会崩。问题是那时候还有没有人记得怎么修。

这不是卢德主义，是系统思维。复杂系统以复杂的方式失败，人在回路里的专业判断，正是阻止灾难性崩溃的那道闸。把认知外包给概率文本预测器，等于引入了一批自己都没搞明白的脆弱依赖。造系统的人清楚这一点，卖系统的人不在乎。

与此同时，公共讨论还卡在存在性风险上：AGI醒来，判定人类低效，然后按下核按钮。这个叙事太方便了，方便到可以当 distraction 用。真正的伤害是即时的、日常的、已经部署的。

  • 大规模自动化监控
  • 用未经同意抓取的数据训练的生物识别系统
  • 错误率与肤色相关的边境管控算法
  • 决策时间以毫秒计的自主武器平台

这些不是推测，是在运行的东西。终结者叙事让我们心安理得地忽略眼前正在建的 dystopia，转而去操心一个也许永远不会来的版本。

智能体困境把这一点磨得更锋利。自主系统不需要有意识就能造成危险，它只需要两件事：不对齐，且被赋权。一个误读指令的模型，可以掏空金库、搞瘫生产数据库、基于幻觉出的市场数据执行交易。它不需要恶意，它需要的是一个我们还没建好的权限模型，和一套我们还没写明的防护措施。

而我们把这类系统部署在失败不对称的环境里：上行收益是边际效率提升，下行风险是结构性破坏。

出路不是叫停开发，是要求认知上的诚实和架构上的谦逊。承认这些系统脆弱、有偏见、有根本局限，把它们当工具用，别当神谕供着。