追问快读：

1. 当前AI并非具备人类心智或意识，而更像是反映人类行为的“镜像”。

2. 将AI拟人化、视其拥有“心智”是对人类复杂性的低估，模糊了机器高效执行任务与真正思考、创造间的界限。

3. AI的主要风险并非技术本身，而是其可能潜移默化地改变我们对人类理性、创造力及自主性的理解，最终削弱我们作为自由智能体的自我认知。

4. AI在医学、能源等领域的巨大潜力，但其发展必须置于健全的伦理规范和治理之下。

5. 需要确保AI成为促进人类福祉与创造力的工具，而非侵蚀我们对自身本质、价值和道德原则的认知。

菲利普·鲍尔

Philip Ball

物理学博士，化学学士，英国知名自由科普作家、BBC科学史栏目“科学的故事”出品人

他曾在《自然》杂志担任编辑超过二十年，著有多部涵盖科学、艺术与文化交叉领域的畅销书，如《水的传记》《预知社会》等。此外，他还获得了2019年英国皇家物理学会的开尔文奖章和2022年英国皇家学会的威尔金斯-贝纳尔-梅达瓦奖章，以表彰他在科学传播和科学社会功能方面的贡献。

香农·瓦勒

Shannon Vallor

爱丁堡大学哲学系数据与人工智能伦理学教授，爱丁堡未来研究所技术道德未来中心主任

艾伦·图灵研究所（Alan Turing Institute）的研究员，也曾在谷歌担任人工智能伦理学家，并著有《技术与美德：未来值得期待的哲学指南》（2016）和《人工智能之镜：如何在机器思维时代重拾人性》（2024）。Vallor 教授的研究聚焦于新兴技术（尤其是AI和数据科学）对人类道德和智力特征的影响，她还为政府和行业提供关于人工智能伦理的建议。她曾获得2015年世界技术伦理奖和2022年国际计算与哲学协会的Covey奖。

香农·瓦勒（Shannon Vallor）和我身处的伦敦大英图书馆中，收藏着1.7亿件藏品——书籍、录音、报纸、手稿、地图。换句话说，这里正是ChatGPT这样的AI聊天机器人“觅食”信息的地方。

坐在图书馆咖啡馆的阳台上，我们眼前就在克里克研究所（Crick Institute）——一个专门研究人体内部机制的生物医学研究中心。如果我们从这里朝着圣潘克拉斯火车站方向扔块石头，也许就能砸到谷歌伦敦总部。瓦勒在搬到苏格兰、领导爱丁堡大学技术伦理未来中心（Center for Technomoral Futures）之前，曾在这家公司担任AI伦理学家。

在这里，身处人类的奥秘、人类语言中蕴含的认知财富以及商业AI的喧嚣张扬之间，瓦勒正在帮助我理解：AI是会解决我们所有的问题，还是会让我们变得多余甚至灭绝？

尽管这两种观点的可能性都催生了耸人听闻的头条新闻，但瓦勒对两者都不以为然。她承认AI在带来益处和造成破坏方面都具有巨大潜力，但她认为真正的危险潜藏在别处。正如她在其2024年的著作《人工智能之镜》（The AI Mirror）中所解释的那样：

无论是认为“AI像我们一样思考”的天真想法，还是认为“AI将化身为邪恶独裁者”的偏执臆想，都虚构了它与人类的亲缘关系。这样做的代价，是创造了一种天真且有害的看法——这可能会鼓动我们放弃自己的能动性，舍弃智慧而去遵从机器。

阅读《人工智能之镜》一书时，我注意到瓦勒有意深入探讨人机关系，而不仅限于隐私、虚假资讯等常见的AI议题。她的书中警示了一种现象：科技行业正在推行一种对于‘人’的肤浅而扭曲的定义，将我们重构为软乎乎、湿漉漉的“计算机”。

虽然这些观点听来严肃，但瓦勒本人却给人截然不同的印象。作为一位既具备哲学与科技领域的学术造诣，又有丰富的行业实践的学者，她并非那种高举旗帜的“反商业AI”人士。在言语间，她对在谷歌的那段经历依然颇具好感，同时也会嘲笑硅谷的一些荒谬之处。但她对这些问题所展现的道德与智识上的清晰和正直，与硅谷那些“科技兄弟”（tech bros）惯常的肤浅和急功近利，形成了鲜明的对比。

“我们正处于这样一个历史时刻：我们需要重建对人类理性与集体决策能力的信心。”瓦勒告诉我，“除非我们能够重新确立对人类思考和判断力的信心，否则我们将既无法应对气候紧急状况，也无法修复已出现裂痕的民主基石。然而，目前AI领域的种种迹象，都在与此背道而驰。”

▷《The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking》（《人工智能之镜：如何在机器思维时代重拾人性》）是Shannon Vallor于2024年出版的一本探讨人工智能与人类关系的著作，书中通过“AI之镜”的隐喻，分析了人工智能如何反映人类的优点与缺点，并呼吁重新思考与AI的关系，以重拾人性和道德发展的潜能。

以人工智能为镜

瓦勒认为，要理解AI算法，我们不应将其视为心智（minds）。“一个多世纪以来，我们都受到科幻和各种文化想象的影响，觉得AI一旦出现，就会是拥有心智的机器。”她告诉我，“但实际上，我们目前拥有的AI，在本质、结构和功能上都与‘心智’大相径庭。”

相反，我们应该将AI想象成一面镜子，它并不会与它所映射的对象完全相同。“当你走进浴室刷牙时，你不会认为有第二张脸在看着你，”瓦勒说。“那只是脸的映像，属性截然不同——既没有温度，也没有深度。”同样地，心智的映像并非心智。基于大语言模型（LLM）的AI聊天机器人、图像生成器，也仅仅是人类表现的镜像。“你看到的ChatGPT的输出，都只是人类智能的镜像，我们的创造性偏好、我们的编程专长、我们的声音，无论我们输入什么，都会映射回来。”

即使是专家，也会在这个“镜厅”里被愚弄。开发了深度学习技术并获得2024年诺贝尔物理学奖的计算机科学家杰弗里·辛顿（Geoffrey Hinton），在2024年的一次AI会议上表示，“我们理解语言的方式与这些LLM非常相似。”

辛顿坚信，这些形式的AI，并非仅仅是在机械地复述看似有意义的文本模式，而是确实发展出了对词语和概念自身的某种理解。LLM通过让其不断调整神经网络中的连接，直到能否稳定地给出好的答案——辛顿将这个训练过程比作“教育一个极度早慧的孩子”。但因为AI远比我们“知道”得更多、“思考”得更快，辛顿得出结论，它最终可能会取代我们——

“人类很可能只是智能进化中的一个过渡阶段。”

“当辛顿开始谈论知识和经验时，他完全是言过其实了，”瓦勒说。“我们知道，大脑和机器学习模型仅是在结构和功能上看起来相似。就物理层面发生的事情而言，两者之间存在巨大的鸿沟，我们完全有理由认为这种差异至关重要。”两者之间根本不存在真正的亲缘关系。

我也认为那些末日预言论调确实占据了过多舆论空间。一些研究者认为，LLM正在具备越来越多的“认知”特征——OpenAI最新的聊天机器人模型o1据说是通过一系列的推理链（chain-of-reason）步骤来工作的（该公司并未透露相关细节，我们无从得知它们是否与人类推理相似）。

另外，AI确实具有可以被视为心智方面的特征，比如记忆和学习。计算机科学家梅拉妮·米切尔（Melanie Mitchell）和复杂性理论家大卫·克拉考尔（David Krakauer）曾提出，虽然我们不应将这些系统视为像我们一样的心智，但它们或许可以被认为是某种截然不同的、我们不熟悉的类型的心智。

“我对这种方法持相当怀疑的态度。未来也许会适用，而且我原则上不反对我们可能造出机器心智的想法。我只是认为我们现在做的并非如此。”瓦勒之所以抵制“AI具有人类式心智”的观点，很大程度上源于她的哲学背景。在哲学中，“心智性”（mindedness）往往根植于经验：而这恰恰是当今AI所不具备的。因此，她说，声称这些机器“在思考”是不恰当的。

▷Wikipedia

她的观点与英国数学家、计算机先驱艾伦·图灵（Alan Turing）1950年的论文《计算机器与智能》（Computing Machinery and Intelligence）相冲突，该论文常被视为AI的概念基础。图灵提出了问题：“机器能思考吗？”——但他随即将此问题替换为他认为更好的问题，即我们能否开发出这样的机器：它对问题的回答无法与人类的回答区分开来。这就是图灵的“模仿游戏”（Imitation Game），现在通常被称为图灵测试（Turing test）。

但那毕竟只是模仿，瓦勒说。“对我来说，‘思考’是一种独特且具体的体验。”

“离开了体验，所谓‘思考’就没了核心——这好比把水里的氢元素拿掉了，就失去了它的本来属性。”

推理需要概念，而LLM并未真正发展出这些概念。“所谓LLM拥有的‘概念’，实际上是不同的东西。它是在高维数学向量空间中关联性的统计映射。”“通过这种表示，模型可以找到通往解决方案的路径，这比随机搜索更有效率。但这不是我们人类的思考方式。”

不过它们非常擅长假装在推理。“问模型：‘你是如何得出那个结论的？’它就会编造一整段看似连贯的思路。但如果我们深挖就会发现，这条‘推理链’很快就会瓦解成胡言乱语。”这说明，这并不是机器遵循并信奉的思考过程，而只是另一种类推理模式（reason-like shapes）的概率分布，与其生成的输出恰当匹配而已。这完全是事后建构（post hoc）。”

▷Aïda Amer/Axios

随着备受吹捧的“通用人工智能”（AGI）概念的出现，这些问题开始变得尖锐。AGI通常被定义为一种能够执行人类可以执行的任何智能任务，并且做得更好的机器智能。有些人认为我们已经接近这个阈值了。只不过要做出这样的断言，必须将人类智能重新定义为我们所做事情的一个子集。

“没错，这是一种非常刻意的策略，目的是转移人们的注意力，使其忽略我们尚未制造出AGI，而且离它还差得很远这一事实。”瓦勒说。

最初，AGI指的是一种能够做到人类心智所能做的一切的东西——一种我们毫不怀疑它在思考和理解世界的东西。但在《人工智能之镜》中，瓦勒解释说，像辛顿和OpenAI的CEO萨姆·奥特曼（Sam Altman）这样的专家，现在将AGI定义为一个在计算、预测、建模、生产和解决问题方面与人类相当或更优的系统。

瓦勒说，“奥特曼篡改了评价标准，声称我们所说的AGI是指‘一台实际上能完成人类所做的所有具有经济价值任务的机器’。”这是（AI）圈子里的普遍看法。微软AI部门的CEO穆斯塔法·苏莱曼（Mustafa Suleyman）也曾写道，AI的最终目标是“将人类高效多能的本质提炼转化为软件和算法”，他认为这等同于能够“复制那个使我们成为独一无二物种的特质——人类的智能”。

瓦勒说，当她看到奥特曼对AGI的重新定义时，“我不得不合上笔记本电脑，对着空气发了半个小时的呆。”

“我们现在追求的AGI目标，不过是你的老板可以用来取代你的东西。”

“它可以像烤面包机一样毫无思想，只要它能做你的工作就行。而这正是LLM的样子——它们是无需思考就能完成大量认知劳动的、毫无思想的烤面包机。”

我向瓦勒进一步探询这一点。毕竟，有AI能在国际象棋上击败我们是一回事——但现在我们有了能写出令人信服的文章、进行引人入胜的对话、创作出能骗过一些人以为是人类所作音乐的算法。当然，这些系统可能相当有限和乏味——但它们难道不正在日益侵蚀那些我们可能视为人类独有的任务吗？

“这就是‘镜子’这个比喻发挥作用的地方，”她说。“镜像可以跳舞。一面足够好的镜子可以向你展示你身上那些深具人性的方面，但展示不了它们的内在体验——仅仅是外在表现。”

对于AI艺术，她补充说：

“重要的是要认识到，在另一端并没有任何东西在参与这场交流。”

让我们困惑的是，我们面对AI生成的“艺术品”时会产生情感。但这并不奇怪，因为机器反映回来的只是人类创造的模式的排列组合：肖邦式的音乐、莎士比亚式的散文。而且，情感反应并非以某种方式编码在刺激源中，而是在我们自己的头脑中构建的：我们与艺术的互动远不像我们通常想象的那么被动。

但这不仅仅关乎艺术。“我们是意义的创造者和发明者，这部分地赋予了我们个体化的、创造性的、政治的自由。”瓦勒说。“我们并非被锁定在所吸收的模式中，而是能够将它们重新排列成新的形态。”

“当我们在世界上主张新的道德诉求时，我们就在这样做。但这些机器只是以微小的统计变异，不断重复循环着相同的模式和形状。它们不具备创造意义的能力。这从根本上就是那道鸿沟，使得声称‘我们与它们存在真正亲缘关系’缺乏正当理由。”

硅谷的问题

我问瓦勒，关于AI的一些误解和误导是否根植于科技社群自身的特性——狭隘的训练和文化背景并且缺乏多样性？

她叹了口气，“我大半辈子都住在旧金山湾区，也在科技行业工作过。我可以告诉你，那种文化的影响是深远的。它不仅仅是一种特定的文化观念，它还具有宗教的特征。在这种思维方式中，存在某些信条，是任何反证或论点都无法动摇的。”

瓦勒说，事实上，提供反证只会被排除在对话之外。“这是一种非常狭隘的智能观，由一套非常狭隘的价值观驱动，‘效率至上’和‘赢家通吃’的支配地位，被视为任何智能生物追求的最高价值。”

瓦勒接着说，“但这种效率，从未参照任何更高价值来定义，这一点总是让我极为无语。就像没人会对纵火者说：‘你真是我们见过最高效的纵火狂！干得漂亮！’”

人们真的认为，人类决策的时代即将落幕。这让我感到恐惧。

在硅谷，效率本身就是目的。“它希望达到一种状态：问题被解决了，不再有摩擦、模棱两可、未说或未做之事，你已经掌控了问题，问题消失了，剩下的只有你那完美闪耀的解决方案。”这样的智慧理念，本身便是一套想要消除思考之劳的意识形态。

瓦勒告诉我，她曾试图向一位AGI领域大佬解释，正义（justice）问题没有数学解。我告诉他，正义的本质在于我们拥有冲突的价值观和利益，它们无法在单一标准上变得可衡量（commensurable），人类的审议、协商和诉求（appeal）的过程才是关键。“他却回答我，那只说明你数学不好。你对此能说什么呢？这就变成了两种互不相交的世界观，而你是在与截然不同的现实观对话。”

真正的危险

瓦勒并未低估日益强大的AI对我们社会构成的威胁，从隐私到虚假信息和政治稳定。但她眼下真正担忧的是，AI正在如何重塑人类的自我认知。

“我认为，AI正在对人类生命的存在意义，构成了一种相当迫在眉睫的威胁”，瓦勒说。“通过自动化我们的思维实践并围绕其构建叙事体系，AI正在削弱我们‘作为世界上有责任感和自由的智能’的自我认知。你可以在那些试图为剥夺人类自我治理权辩护的威权主义言论中找到这种论调，而AI为这类叙事注入了新的生机。

更糟糕的是，她说，这种叙事被包装成一种客观中立、无关政治的说辞——它仅仅是科学。“你会遇到这样一些人，他们真的认为人类能动性的时代已经终结，人类决策的时代即将落幕——而且他们认为这是好事，并且是简单的科学事实。这让我感到恐惧。我们被告知，接下来AGI将会构建出更好的东西。而且我确实认为，有一些愤世嫉俗的人会信以为真，并从‘自己正在引领我们的机器继任者诞生’这样的信念中获得某种宗教般的慰藉。”

瓦勒不希望AI停滞不前，它确实可以帮助解决我们面临的一些严峻问题。“AI在医学、能源、农业领域仍有巨大的应用前景。我希望它能以明智选择、合理引导和规范治理的方式持续发展。”

正因如此，人们对AI的反对态度，尽管可以理解，但从长远来看可能存在问题。“我看到越来越多的人开始抵制AI，”瓦勒表示。“这种敌视情绪在创意圈愈演愈烈。大约三年前，当LLM和图像模型刚出现时，这些群体的态度要平和得多。当时有很多人觉得‘这玩意儿还挺酷的’。但由于AI行业对待创作者权利和自主权的掠夺性做法，以至于现在的创作者们都在说，‘去他的AI和所有与它相关的人，别让它靠近我们的创作领域。’我担心这种针对AI负面的抵制动能，会扩散成对AI解决任何问题的广泛不信任。”

尽管瓦洛仍然希望推广AI应用，但“我发现自己常常站在愤怒抵制者阵营，他们的理由完全正当。”她坦言，这种分裂正成为人们强加在“人性与技术之间的人为区隔”。她说，“这种区隔可能造成严重危害，因为技术是身份认知的基石——早在进化成现代智人（Homo sapiens）之前，我们就已是技术造就的生物。工具帮助我们解放自我、创造并更好地关爱他人，乃至爱护地球上的其他生命。我不想失去这种宝贵的‘人类-技术’连结，把所有东西都硬分成‘人性’对‘机器’。从本质上说，科技可以是一种最具‘人性’的活动。只是我们已经迷失了这种纽带。”

译者后记

当前对AI的讨论，虽然警示了其作为“人类智能镜像”可能侵蚀人类能动性的风险，但往往过度聚焦于“机器是否拥有体验”这类抽象哲学边界，从而忽视了算法已经造成的实际社会后果和潜在的全球性不平等。无论AI是否具备主观感受，其部署已带来紧迫的伦理、法律和社会影响，包括资源消耗、生态足迹、数据殖民及地缘政治风险。

对硅谷的批判也需更加深入、细致、不片面，应认识到产业内部存在的多样声音与外部治理的努力。近期AI领域重量级人物的不同表态——从追求超级智能却回避监管，到内部安全与商业竞争的拉扯，再到对灭绝风险、行动代理危险性以及开源模式的激烈争论——恰恰凸显了单纯忧虑“人类能动性被侵蚀”的局限性。

真正迫切的问题，并非机器是否“有感觉”，而是如何在商业竞速、技术路线分歧（如开源与封闭）及地缘政治博弈的复杂力量间，建立起可验证的外部约束和有效的全球多极治理框架。缺乏这种框架，无论AI是否只是“镜像”，其背后集中的资本与算力都足以将其导向负面未来（“黑镜”化）。

因此，AI治理亟需超越“人机对立”的哲学思辨，转向关注全球数据主权、算法生态影响、跨文化价值公平和可行的制度设计等更为现实和多维的议题。

https://nautil.us/ai-is-the-black-mirror-1169121/

关于追问nextquestion

天桥脑科学研究院旗下科学媒体，旨在以科学追问为纽带，深入探究人工智能与人类智能相互融合与促进，不断探索科学的边界。如果您有进一步想要讨论的内容，欢迎评论区留言，或后台留言“社群”即可加入社群与我们互动。

关于天桥脑科学研究院

天桥脑科学研究院（Tianqiao and Chrissy Chen Institute）是由陈天桥、雒芊芊夫妇出资10亿美元创建的世界最大私人脑科学研究机构之一，围绕全球化、跨学科和青年科学家三大重点，支持脑科学研究，造福人类。

Chen Institute与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室；与加州理工学院合作成立了加州理工天桥神经科学研究院。

Chen Institute建成了支持脑科学和人工智能领域研究的生态系统，项目遍布欧美、亚洲和大洋洲，包括、、、科研型临床医生奖励计划、、等。