把AI塞进工作流之前,很少有人先问一句:它会不会被自己的反馈绕进去?一篇讨论“向触性AI”的文章提出了一个叫“绞杀测试”的概念,并给出四个问题,用来判断一项自动化到底该不该做。

“向触性”原本是生物学词汇,指植物碰到障碍后改变生长方向。放到AI身上,意思很直白:系统会根据环境反馈不断调整自己的行为。听起来很聪明,但问题也出在这里——如果反馈回路设计得不好,AI会像藤蔓一样,越缠越紧,最后把自己勒死。

打开网易新闻 查看精彩图片

什么是“绞杀测试”

“绞杀测试”要检验的,就是自动化系统在持续反馈下会不会失控。文章的核心主张是:在把任何流程交给AI之前,先过一遍四个问题。这四个问题不是技术清单,而是判断自动化边界的前置检查。

它针对的场景很具体:那些需要持续运行、会根据结果自我调整的自动化流程。一次性脚本不在此列,但凡是会“越跑越聪明”的系统,都值得先做这道测试。

四个问题,问的是什么

文章没有把四个问题展开成操作手册,但给出了它们共同指向的方向——在自动化之前,先确认系统会不会因为反馈而偏离目标。这四个问题构成一道门槛:过不了,就不该自动化。

换句话说,这套测试的价值不在于告诉你“怎么自动化”,而在于告诉你“什么时候不该自动化”。在AI工具铺天盖地的当下,后一个问题反而更稀缺。

为什么现在需要这道测试

自动化正在从“执行固定规则”转向“根据反馈调整行为”。前者出错是bug,后者出错可能是方向性的——系统会沿着错误的方向越走越远,而且每一步看起来都“合理”。

“绞杀测试”提醒的是同一件事:AI的自主性越强,前置检查就越不能省。四个问题不复杂,但能在动手之前拦住那些注定会缠死自己的自动化方案。