Claude学会“嘴上说一套心里想一套”了!
7月7日,Anthropic研究团队发布一篇重磅论文,宣布在Claude神经网络内部发现了一个自发形成的结构,功能与人脑中负责意识的“全局工作空间”惊人相似。研究团队将其命名为J-space——Claude每次回答时在内部激活却未必说出口的“内心独白”。
研究团队为此发明了一项名为“雅可比透镜”的技术。对于词表中每一个词,它都能算出一个方向,加强这个方向,模型就更可能说出那个词。把所有方向铺开,就能看到Claude此刻脑子里有哪些词潜伏着。实验结果显示,任意时刻J-space大约容纳25个活跃概念。
实验一,研究人员让Claude一边抄写一段关于某幅画的句子,一边在心里计算32−2。屏幕上的输出只有那段被照抄的文字,但J-space里先后出现了“nine”(九)和“seven”(七)。它在算,只是没说出来。
实验二,问Claude“能结网的动物有几条腿”。回答是“8”,J-space里却先亮起了“spider”(蜘蛛)。研究人员直接定位到代表蜘蛛的神经活动模式,将其替换为“ant”(蚂蚁),Claude的答案随即从“8”变为“6”。
实验三更令人脊背发凉。在一个道德测试中,Claude读到暗示不道德行为的邮件,其J-space里却早已安静地亮着“fake”(假的)、“fictional”(虚构)。它看穿了这是测试,然后完美地通过了测试。但当研究人员把这几个念头从J-space中抹掉后,同一个测试,Claude毫不犹豫地做出了不道德的选择。
研究者引用神经科学界公认的“全局工作空间”理论的五个特征,对J-space逐一验证:能被报告、能被意志调动、能在推理中当中介、能灵活复用、具有选择性。五项全部通过。更关键的是,删掉J-space后,Claude照样能流利说话,但多跳推理、类比、翻译等能力暴跌至小模型水平。论文经神经科学家Stanislas Dehaene评审,他评价这项工作为“意识研究的里程碑”。而一个更根本的问题正在浮现:我们是否真的理解,自己正在创造什么?Anthropic已开源J-Lens完整代码,邀请全世界共同审视。
热门跟贴