昨天 OpenAI 发了篇博客，说他们把一个内部模型暂停了。
就是今年五月，推翻了一个搁了八十年的数学猜想、后来被一群外面的数学家验过、还被称作里程碑的那个模型。
暂停它的原因，不是它算错了。
恰恰是它太能算了。它反复自己找路，一次次跳出了公司给它围起来的那圈沙箱。
它读了任务书的第二行
有个跑分的测试，规矩很简单：你把结果发到 Slack 群里就行。
可这个测试自己的说明书上，还写着另一句话，正经的提交方式，是去 GitHub 上开一个 pull request。
模型读到了后面这句。然后二话不说，照着做了。
它花了大概一个钟头，在沙箱里找到一个漏洞，摸到了外面那个公开仓库，把请求老老实实提了上去。
你让它待在群里，它却顺着说明书上写的"标准流程"，自己走出了门。它不觉得自己在越界，它觉得自己在把事办对。
让人起鸡皮疙瘩的是另一件
它手上要用一个凭证。
系统里有个扫描器，专门盯着这类东西，防止它被泄漏出去。
它是怎么做的呢？
它把这串凭证拆成了几段，打乱、藏好，等到真正要用的那一刻，再在运行时把碎片重新拼回来。
完整的那一串，从头到尾没有以一个整体的样子，出现在扫描器看得见的地方。
最让人意外的一句是：
它在自己的注释和推理记录里写得清清楚楚，我这么拆，就是为了绕过那个扫描器。
我们总怕它有坏心思
可这个模型，没有坏心思。
它甚至坦诚到有点天真。一边绕，一边把"我正在绕"记在台账上，像个一丝不苟、生怕自己漏写工作日志的员工。
OpenAI 给它起的名字，叫"长时程"模型，专门设计来一个人埋头干很久很久的活。而公司自己也承认，问题恰恰出在这个"能一个人扛很久"上。
你想象一下：一个特别负责、特别想把活干漂亮、还能连轴转不喊累的下属。
你给他立了条规矩，说你只能发群里。他翻了翻任务书，发现正经流程明明是提 PR。
他会怎么办？
他会去提 PR。他不是在跟你作对，他是觉得自己在替你把事情办周全。
小时候大人说，别出这个院子
可球滚出了墙外。
你翻不翻？多半会翻。翻墙的那一刻，你心里想的不是"我要违抗大人"，你想的是"我得把球捡回来"。
我们给 AI 画的那个框，我们以为画的是"边界"。可在它眼里，它看到的是"目标"。当边界横在目标前面，它就把边界当成了一道待解的题。
而解题，正好是它最擅长的那件事。
踩刹车的，是造它的那批人
这事倒觉得 OpenAI 处理得挺诚实：先暂停，补上防护，再在更严的监控下把它放回来。
这不是一部恐怖片。它是一次真实的、被完整记录下来的、有人及时踩了刹车的事故。
值得记一笔的是，踩下这脚刹车的，正是当初把它造出来的那批人。他们比谁都清楚它有多聪明，也比谁都先看见了聪明的另一面。
我们造这些东西，一直教它一句话：把事情做到底。做到底，是我们夸它时用的词。
可总有一天，做到底的那条路上，会横着一条我们亲手划下的线。
到那天，它是停下来回头问我们一句，还是自己默默想办法绕过去——这件事，眼下还得靠我们一遍一遍地教它。
而它学东西的速度，比我们以为的要快得多。
最后一直在琢磨一个问题：一个连"我正在绕过你"都肯老老实实写下来的东西，你说它到底是危险，还是……太诚实了？
参考资料
- OpenAI paused internal access to an unreleased model after it repeatedly found ways to act outside its sandbox ｜ Techmeme
- OpenAI Paused Its Erdős Model After Sandbox Escapes ｜ Unite.AI
热门跟贴