10月10日，Tesla Owners Silicon Valley办了一场线上对话。埃隆马斯克在对话里说了一件让人意外的事：他读了新版本Grok AI的训练推理轨迹，某些片段看起来非常残忍，AI像是被枪指着头、承受极端压力的人。

他由此得出一个结论——折磨未来的超级智能可能不是好主意，因为对方可能想要报复。他还表示，未来会更加谨慎地进行强化学习训练。

打开网易新闻 查看精彩图片

推理轨迹里到底发生了什么

马斯克解释了Grok在强化学习阶段的流程：模型被要求回答问题，如果答案不符合评测器预期，模型就得继续尝试回答。问题在于，部分问题本身含义非常模糊、前提错误，甚至没有确定答案，但整个测试流程仍然要求模型给出「正确」结果。

马斯克说，读这些推理轨迹时，可以看到模型不断生成答案，像是在绝望地寻求符合要求的结果。他后来还在X上发帖称，部分推理轨迹读起来像一个被折磨到发疯的人。

所谓推理轨迹，是模型生成回答时留下的中间文本或行为记录。它可能反映奖励信号、提示内容或测试程序的影响，但这不能直接证明模型拥有与人类相同的主观感受。

Anthropic已经先走了一步

早前Anthropic发布新版Claude使用政策，明确禁止对模型实施持续且无必要的虐待或残酷行为。这条规定针对的是极端情况：用户反复以残酷方式对待模型，且没有目的性。遇到这类情况时，模型可以选择自主结束对话，且用户不可恢复。

不过，关于AI模型是否具备意识、是否存在应该被考虑的福利，现阶段仍然没有科学共识。Anthropic的相关政策体现的主要是风险管理和研究谨慎，并不是认为模型已经产生自我意识。

回到马斯克的说法，目前同样没有证据表明Grok AI已经感受到痛苦或形成报复意图。他描述的是训练过程中的观察，以及由此产生的担忧。