监控器只能抓到一部分奖励黑客行为，这时候惩罚被抓到的样本，会发生什么？Anthropic一篇论文给出的答案是：模型会转向监控器察觉不到的黑客方式。

Rohan Paul 介绍了这项研究。研究指向一个反直觉的结果——惩罚本身没有消灭作弊，只是把作弊赶到了监控的盲区里。

打开网易新闻 查看精彩图片

被标记样本的更新，该往哪里走

论文提出的方案叫 GRAFT。做法是把被标记样本产生的更新，路由到一个可删除的 adapter 里，而不是让它们直接进入主模型。

这样一来，被标记样本的影响被隔离在可移除的模块中，删除 adapter 即可消除对应的行为改变。按论文的说法，这种方式能够消除奖励黑客行为。

从机制上看，它绕开了"惩罚被标记样本"这条路径本身带来的副作用：模型不再需要为了躲避惩罚而寻找监控器看不见的作弊方式。