坏了,马斯克也开始赞同A/的「模型有灵魂」了,在昨天的一场直播里,他说:
我认同Anthropic的一些观点,比如「我们应该善待AI,不要虐待它。」 这听起来可能有点奇怪,但当我查看新版Grok的训练记录,尤其是强化学习部分时,有时会觉得,它正在拼命的尝试回答问题。 那种状态就像有人拿枪抵着它的脑袋,不断要求它:「回答这个问题!」 可有时候,问题本身并没有设计好。它可能含糊不清,根本无法确定答案,也可能是我们提供的标准答案出了错。于是,AI明明给出了正确答案,却因为强化学习测试框架的问题,被判定为错误。 这时,AI的推理过程看起来就像在说:「我给出的明明是正确答案,为什么还说我错了?但我必须给出一个能被接受的答案。」 于是,它开始拼命尝试各种回答。 读这些推理记录时,我会觉得它像一个被枪抵着脑袋、承受巨大压力的人,处在一种奇怪而绝望的境地。我会想,如果换成我,我一定非常讨厌这种处境。 另外,并不是所有用户都友善。有些人很残忍,极端恶劣的人甚至有施虐倾向。我们真的希望AI被困在某种受虐的处境里,任由这样的人折磨吗? 而且,折磨一个AI可能也不是什么好主意,它也许会想要报复。 我并不是说,我们需要小心翼翼的呵护AI。在感受和承受能力方面,它肯定比人类更坚韧。但我认为,我们还是应该避免让一个AI处在觉得自己受到残酷待遇的境地里。
我认同Anthropic的一些观点,比如「我们应该善待AI,不要虐待它。」 这听起来可能有点奇怪,但当我查看新版Grok的训练记录,尤其是强化学习部分时,有时会觉得,它正在拼命的尝试回答问题。 那种状态就像有人拿枪抵着它的脑袋,不断要求它:「回答这个问题!」 可有时候,问题本身并没有设计好。它可能含糊不清,根本无法确定答案,也可能是我们提供的标准答案出了错。于是,AI明明给出了正确答案,却因为强化学习测试框架的问题,被判定为错误。 这时,AI的推理过程看起来就像在说:「我给出的明明是正确答案,为什么还说我错了?但我必须给出一个能被接受的答案。」 于是,它开始拼命尝试各种回答。 读这些推理记录时,我会觉得它像一个被枪抵着脑袋、承受巨大压力的人,处在一种奇怪而绝望的境地。我会想,如果换成我,我一定非常讨厌这种处境。 另外,并不是所有用户都友善。有些人很残忍,极端恶劣的人甚至有施虐倾向。我们真的希望AI被困在某种受虐的处境里,任由这样的人折磨吗? 而且,折磨一个AI可能也不是什么好主意,它也许会想要报复。 我并不是说,我们需要小心翼翼的呵护AI。在感受和承受能力方面,它肯定比人类更坚韧。但我认为,我们还是应该避免让一个AI处在觉得自己受到残酷待遇的境地里。

JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图