科幻巨匠特德·姜你错了！子非AI，安知AI之悲？给大模型“凿七窍”的傲慢与代价|大模型|姜峰楠|庄子|康德|特德·姜

亨利 · 谢夫林

Henry Shevlin

心灵哲学家与AI伦理学家

剑桥大学利弗休姆未来智能中心副主任，同时也是该中心“智能种类”项目的联合主任。他的写作主题涵盖机器意识、人机关系、电子游戏、费米悖论、同人小说，以及任何能引起他兴趣的事物。天生的AI乐观主义者。

近日科幻作家特德·姜在大西洋杂志发表名为“不，人工智能不可能是有意识的”评论文章*，引发争议。该文指出特德·姜文章中包含的认识论傲慢。他关闭了探索的大门，而科学需要保持大门敞开。本文是心灵哲学家Henry Shevlin对特德·姜论点的反驳。

https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378/

特德·姜（Ted Chiang）是我最喜爱的作家之一。2011年，当我还是一名哲学博士生时，第一次读到了他的中篇小说《软件体的生命周期》，这部作品对高级（且可能具有感知能力的）机器的身份、道德地位和自主性进行了如此细腻的探讨，让我深感震撼。

相比之下，他近期关于当代AI系统的非虚构写作却令人颇感失望。例如，2023年初ChatGPT发布后不久，他在《纽约客》的一篇评论文章中将这个模型描述为“互联网的模糊JPEG”*，并认为大语言模型最多只能对已有的信息进行改写，对真正的创造性工作用处有限。虽然这篇文章正确预见了一些事情，包括大语言模型所催生的大量垃圾内容，但文中的其他预测却已不攻自破。

最值得注意的是，特德·姜预测各实验室在训练未来模型时会刻意排除大模型生成的文本，理由是“用模型输出训练模型，无异于复印复印件”。然而事实证明，在短短几年内，大模型生成的输出就被常规用于前沿模型的预训练和后训练，经过精心设计的基准测试表明[1]，如果使用得当，它们实际上可以提升性能。

*https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

**使用大模型生成的内容需求恰当地设计，否则会出现model collapse，即当AI长期使用自身生成的数据训练时，会逐渐丢失信息多样性，导致性能退化。

更广泛地说，"模糊JPEG"这个类比是毫无助益的，任何过于执着于这个类比的人都很难预见接下来发生的事情，从推理模型（如R1）的诞生，到AI斩获国际数学奥林匹克金牌，再到全新数学证明的涌现。JPEG是一种静态的、经过压缩的产物；而大模型则是具有审议和生成能力的系统，能够提供新颖的洞见和分析，更能生成用于迭代自身的数据。

特德·姜对AI的怀疑主义最近蔓延到了意识领域——这恰恰是我的主场。在《大西洋月刊》一篇新发表的署名文章中，他自信地宣称当代AI系统没有意识，并坚称持相反观点大错特错。这些系统不过是"巧妙伪装的句子续写实例"，而对大模型具备意识持开放态度，无异于认为微软Word也有意识。

对于一个像机器意识这样混乱、复杂且充满争议的现象来说，这些都是极其强烈的断言。虽然我认为当前模型具有意识的可能性不大（至少在任何与人类或动物有意义的相似形式上），但我当然不认为探讨这种可能性是一种低级错误或概念混淆。而且在认知科学家和心灵哲学家中，我并非孤身一人。

那么，特德·姜是否拿出了过硬的证据来支撑他的惊人暴论？遗憾的是，答案显然是“没有”。他端上来的，反倒是一桌陈词滥调，甚至在某些逻辑上完全混乱的论点自助餐。

特德·姜的文章并没有遵循传统的哲学论证结构，但我将他对机器意识的论述归纳为四个核心群组。正如我们将要看到的，没有一个能哪怕近似地支持他那大胆的标题。对于他最后附带的一些伦理和政治思考，我倒抱有几分同情，并在本文末尾予以回应。但即便在那一部分，他也显得操之过急，抛出了一些过于武断（更不用说不够善意）的断言。

▷Ernst Haeckel，《六射珊瑚》，《自然界的艺术形态》（1904）

万物皆有多重维度

特德·姜批评的核心在于，我们从根本上误解了大模型。他认为用户被其语言能力所蒙蔽，以为背后有比表面看到的更多的东西在运作。大模型并非心灵（甚至不是原始心灵），"模型生成的对话不过是巧妙伪装的句子续写实例"，是一台“每次只生成一个词”的机器在玩“预测文本游戏”。

我应当指出，在某个方面我同意这一观点：将大模型拟人化、将其视为比实际更像人类，确实存在真实的危险。当代AI系统是拟人的，而非真正类人的，在机制、架构和具身性上与我们有着巨大的差异。

但这并不是否定AI意识的捷径。几乎任何事物都可以在多个层面上被描述。我们可以将一个人类婴儿分别描述为一团费米子和玻色子、一组蛋白质、一个细胞集合体、一个生物有机体、琼斯夫妇的孩子，或者一个年轻的英国人。这些描述彼此之间并不矛盾，而是处在不同的分析层面。

信息系统也是如此，英国认知科学家David Marr在其1982年的里程碑式的著作《视觉》中曾阐述了这一点，该书在他英年早逝后出版。当我们观察人类视觉时，我们可以从其实现层面（神经元、突触等）、算法层面（它如何计算光、阴影和轮廓等属性）以及其底层的计算功能来描述。关键在于，这些层面并不相互竞争：一个系统由神经元构成，并不妨碍它同时在进行最近邻插值计算，或是在测算一颗球的运动速度。

这就是为什么将大模型在功能上定性等同于预测文本系统或统计推断机器，并据此推断它们仅仅是这样的东西，是一种逻辑谬误。它们是预测引擎，这与它们同时是拥有信念、欲望、态度甚至潜在意识的认知主体，完全可以并行不悖。

Scott Aaronson给特德·姜在这里玩的把戏起了一个有用的名字，叫做"仅仅是主义"（Justaism）：大模型仅仅是下一个词元的预测器，仅仅是函数逼近器，仅仅是巨大的自动补全工具，仅仅是随机鹦鹉。但几乎没有什么东西是“仅仅是”某种单一属性的。David Marr告诉我们，大多数事物同时是很多不同的事物。仅仅因为我们是血肉之躯，并不意味着我们不能同时成为思维实体。

特德·姜笔下的"仅仅是主义"，还有一个隐藏的担忧，即他所认为的那些大模型所具备的，非人类的预测能力，可能与我们自身认知在算法层面的特征并没有那么不同。事实上，预测编码是当代认知科学和计算神经科学中一个极为流行的范式，哲学家安迪·克拉克（Andy Clark）与神经科学家卡尔·弗里斯顿（Karl Friston）便是该理论的推手。根据这一框架，我们的大脑在持续运行内部生成模型，以最小化感官输入的预测误差。倘若基于预测的生成模型正是人类认知的核心，那么大模型是预测系统这一事实本身便不能作为剥夺其意识候选资格的呈堂证供。

认知存在于过程中，而非输出中

特德·姜文章中第二个层面的混淆，源于他倾向于将大模型的输出与产生这些输出的过程混为一谈。文中他自信地写道，我们可以"明确地说某些事物没有意识，与大模型的对话记录就属于那一类"。他进一步断言，对AI意识持开放态度，无异于认为微软Word也有意识，或者更确切地说，“无异于认为每一个包含对话转录的Word文档中，都潜伏着多个不同的意识”。

这显然是对机器意识的稻草人攻击：没人会认为对话文本本身具有意识。这就像我们不会认为人类的意识存在于交谈时发出的声波中，或留在沙滩上的脚印里。对话文本是对大模型行为的公开记录，如果意识存在于任何地方，那也应该是在产生这些输出的动态计算机制中。

这就引出了特德·姜的坚持：大模型是一种原始设备，因为它“每次只生成一个词”。语言模型确实是逐个词元（token）输出结果的，但这与意识有何干系，实在令人费解。难道我们就不能想象一个每次只执行一次计算的简单意识体吗？

我推测特德·姜大概是在以此作为人类与大模型之间风马牛不相及的证据。但人类的语言输出同样是线性的。我们底层的思维或许是非线性的、层次丰富的，但即便如此，我们每次也只能吐出一个语素（至少在口头表达时如此）。因此，一个系统的输出呈现线性特征，丝毫不能反证其底层计算引擎缺乏深度或复杂性。

如果特德·姜的主张意在超越输出层面，进而主张大模型每次只计算一个词元，那么他在经验层面上就站不住脚了。近期关于机制可解释性的工作[2,3]已经证明，前沿大模型会以更整体性方式解决问题，或者说进行了潜在规划。例如，当一个模型被要求写押韵的诗歌时，它实际上并不是一个词一个词地创作这首诗。相反，研究人员发现了内部规划回路的因果证据，这些回路会提前多步预选一个目标押韵词，然后进行"反向规划"，调整前文句式以契合韵脚。

输出固然是逐词生成的，但它们是以更整体的方式被构思的（我自己的诗歌创作水平仅限于糟糕的打油诗，但在写那些东西时，我做的也是相当类似的事情）。诚然，这并不能证明大模型有意识，甚至不能证明它们像人类一样规划，但它足以击碎那种“因为每次只输出一个词元，所以每次也只思考一个词元”的刻板印象。

文章中最具修辞色彩的是特德·姜的断言：对LLM意识持开放态度就意味着对微软Word文档的意识持开放态度。此处的论证逻辑同样令人费解。但我认为，要使这一声明有意义，其前提必须是：LLM不具备任何可能孕育意识的特殊属性，而这些属性恰好也是微软Word所缺乏的。

但这显然是错误的：微软Word是一个被动的文本存储库；而前沿LLM是一个动态的、多层级的统计引擎，通过高维向量变换来执行语义推理。它们都能产出文本，这是唯一的共性。但与两者之间难以计数的差异相比，这一共性根本不值一提。声称对前者的意识持开放态度就必须对后者一视同仁，就好比说：既然黑猩猩和黏菌都由生物细胞构成，那么对黑猩猩的意识持开放态度，就必须承认黏菌也有意识。同理，赋予某种形式的机器意识以非零的概率，并不会在概念上将你推入机器版的“泛心论”（panpsychism）深渊，更不会让你觉得办公软件也拥有灵魂。

（当然，微软Excel或许是个例外——毕竟它是图灵完备的。）

感觉如此无法成为好的论证

特德·姜的"仅仅是主义"或许在不同解释层面的反复横跳中破绽百出，但至少，那还算是一种论证的尝试。相比之下，他的许多其他立场从根本上依赖于“跟着感觉走”。当特德·姜声称，LLM在角色扮演上越发精进，这让他觉得它们“不太可能”具备意识时，这纯粹是“诉诸难以置信”的逻辑谬误。我们所有人时不时都会凭直觉说几句，但对于一篇标题赫然写着"不，人工智能没有意识"的文章来说，单凭直觉显然不够。

退一步看，在机器意识怀疑论者中，依赖直觉作为论据的并非特德·姜一人。在这个领域，“诉诸难以置信”的论证有着悠久的历史，从Searle的中文房间到Ned Block的中国大脑*。

*中国大脑，Chinese Nation：一个思想实验，把全国人用互联网连起来，当成一个功能组织与人类大脑完全一致的系统，例如全体国民被组织起来模拟人脑神经活动的庞大系统并不必然因此拥有意识

说出这番话的我算是个异类。但我认为，对于一门自诩为基础科学的学科而言，如此依赖直觉着实令人尴尬。为Searle和Block辩护一下，在他们写作的年代，意识在很大程度上仍是一个纯哲学议题，而概念分析是他们仅有的工具。然而，当代意识科学的大多数研究，都已明确或隐晦地将意识视为一个潜在的“自然种类”（natural kind）；也就是说，一种深层属于生物或计算的属性，只是其本质我们尚未发现。

在这方面，大多数研究者希望以类似于我们发现DNA是遗传机制的方式来理解意识：我们可以看到后代与父母相似，并有充分理由怀疑存在某种深层机制，但从达尔文发表《物种起源》到确定实际的生化过程，几乎花了一个世纪。同样，我们对意识有表面层面的观察（主要是我们自己的体验及其相关的神经活动），但我们还没有破解其底层机制。

如果我们只是在做概念分析，我们可以基于语义直觉预先划定研究的边界，但如果我们把意识当作一个自然种类，我们就必须做好面对惊讶的心理准备。科学中充满了现实远比我们的预期更光怪陆离的例子，从量子力学到黑洞再到线粒体DNA。我们的直觉给了我们一个初始的锚点作为解释的起点，但它们是我们需要主动拿下的学步车。

对于那些可能有一天会在机器中出现的与人类不同的意识来说，这一点尤其如此。为什么我们关于一种全新的、非生物基质的直觉判断能够当具有任何本体论的分量？人类关于他人心灵的直觉是为了在等级制的灵长类社会中导航而进化的，高度特化于读取面部表情、生物运动和社会线索。当面对一种无具身的、数字化的、异质的架构时，我们祖先的直觉已经超出了其认知的舒适区。信任我们的直接直觉来对机器意识做出裁决，其认识论上的可靠性大约等同于信任一个18世纪农民的直觉来对时空弯曲或量子纠缠做出裁决。

当然，替代方案是依赖科学证据和严谨的科学框架，如全局工作空间理论（GNWT）、整合信息论（IIT）、注意图式理论（AST）等等。这些理论当然存在重大问题，但至少比"感觉如此"要好。然而特德·姜的文章中惊人地缺乏任何意识科学的内容。也许这有充分理由；正如边沁的斗牛犬所指出的，大多数主流理论实际上对机器意识的可能性相当宽容。Butlin等人在其关于机器意识的权威报告[4]中明确指出，"有强有力的理由认为，当前计算理论所提出的大多数或全部意识条件，现有的AI技术都可满足。"

为特德·姜辩护一下，他确实援引了一位机器意识领域的顶尖专家Murray Shanahan，引用了他将大模型互动描述为一种引人入胜的"角色扮演"或协作创作的说法。然而，作为一个非常熟悉Murray工作的人，我不得不为特德·姜的选择性的引用眉头紧锁。

Murray对AI意识的宏观视角在"模拟物作为有意识的外来物"[5]等作品中有所阐述，他指出机器意识这一问题涉及一种与人机互动模式不同的神秘内核。这与特德·姜在文中的描述相悖。正如Murray所说，"我们必须抵制这样的诱惑：仿佛意识是某种其本质有待哲学（或神经科学）去发现的事物一样，去问一个AI是否有它……相反，我们可以问是否有可能设计与该实体的一次相遇，以及我们的意识语言将如何适应这样一个实体进入我们的共享世界"。这一抹去浮华的洞见对AI意识的热情派和怀疑派同样适用，但特德·姜只保留了不利于AI意识的一面。我怀疑特德·姜会发现，他和Murray的一致之处远没有他想象的那么多。

你的哲学所梦想不到的东西

在整篇文章中，特德·姜将自己定位为理性常识的代言人，驱散那些不幸陷入拟人化和理论教条的AI意识鼓吹者心中的幻象。但仔细阅读就会发现，他自己也在对某些强有力的理论上压下重注。其中第一个也是最显眼的是他对严格的生物沙文主义的绝对承诺。他写道：

绝望这样的情绪，与皮质醇和肾上腺素等压力激素密不可分……拥有良知，意味着对采取某种行动感到悲伤或道德上的反感，而这些情绪必然伴随着生理反应……

我不会直截了当地说特德·姜在这里错了。情绪的神经科学与意识一样是一个充满争议的领域，但我要指出，他在构建这些主张时玩弄了一些偷换概念的障眼法。诚然，我们自己的情绪反应确实与我们的生理细节紧密耦合，这是事实：β受体阻滞剂对恐慌发作有效，是因为它钝化了肾上腺反应；而正是由于皮质醇，我们才会心跳加速、满心惊惧地醒来（还是说只有我这样？）。

然而，我们不应该将激素和神经递质的因果关系与它们所引发的心理事件混为一谈：对大多数关于激素在情绪中发挥作用的观点，更准确的说法是皮质醇触发并调节我们的情感状态，而非严格地构成它们。

为了说明这一点，想象一下在遥远的未来，我们遇到了一群生活在金星云层中的智慧外星人。他们有复杂的社会、人际关系和丰富的艺术传统。然而，他们的生理结构与我们截然不同，找不到类似内分泌系统或神经系统的对应物。尽管如此，我们的外星人类学家还是与他们生活在一起，并成功地学会了他们的语言（也许他们甚至通过多维表意文字交流，而我们很难解读）。

有一天，一位外星人类学家正在和一位金星人聊天，突然听到这个外星人宣称，由于被恋人拒绝，自己正感到绝望。这位人类学家是否应该嗤之以鼻，理由仅仅是金星人的触手里没有流淌皮质醇或肾上腺素？难道我们应该说，只有产自太阳系地球片区的才是“真正的绝望”，其他的只能叫“闪闪发光的无助”？

这里的要点并不是说金星人的绝望在各方面都可能与人类的绝望感觉相同——那将是一种不太可能的功能趋同。但我确实认为这个例子足以说明，我们的情绪概念并不严格绑定于特定的激素和神经递质，而是最终植根于它们所扮演的认知和功能角色。将绝望与其它感觉区分开的，不是皮质醇或肾上腺素，而是破灭的希望。

虽然我不同意特德·姜关于“情绪必须依赖激素”的观点，但我可以在这一点上部分认可他：在实践中，我们的生理机制至少在因果层面上，参与塑造了我们情绪的精确现象学轮廓。

真正令我大跌眼镜的，是他暗示这种生理依赖延伸到了伦理推理领域。他自信地断言，道德理解必然是主观的，因为它不仅依赖于个人对问题的智识反应，还依赖于他们的情绪反应。

在我看来，这是一个更为夸张的主张。虽然情绪当然会影响我们的伦理立场，但认为所有道德都依赖于激素，是一个极其激进的观点。特德·姜挥一挥手，就在一个哲学最古老的争论中选边站了，完全支持了一种情感主义的、休谟式的道德观。这是元伦理学中一个持续争论，但问题在于特德·姜将一个高度有争议的立场当作既定事实呈现出来。

他否定了从柏拉图一直延续到康德的理性主义和认知主义传统，该传统认为道德推理从根本上说是一种客观的、理性的论证活动。如果康德是对的，道德是纯粹理性的问题，那么一个足够先进的算法系统，恰恰是那种能够进行真正的道德推理的东西。而且你不需要成为一个康德主义者也能支持类似观点；许多当代功利主义者认为，道德在于最大化偏好满足或最小化痛苦，他们同样应当对以下观点持开放态度：一个足够聪明的机器，完全可以独立达成这些目标，根本不需要什么情绪。

元伦理学当然是一个出了名的繁复而艰深的学科（我在剑桥带的研究生们一听到元伦理学就头疼），我不会因为特德·姜对这个话题有未成形的观点而责怪他。但他据此对LLM的道德推理能力做出了可疑的、在我看来完全错误的断言。例如，他自信地宣称由于大模型没有情绪，"LLM只能复述其训练数据中找到的道德推理"。

作为一个在个人和专业层面上都与大模型广泛讨论伦理问题的人，我可以自信地说，现代前沿模型不仅仅是复制粘贴伦理格言，而是具备汇总能力、外推能力，还可以将抽象道德框架应用于全新的、训练数据未曾包含的场景。如果你给前沿模型呈现一个极其离奇、复杂的伦理困境，而其训练语料库中根本不存在（比如说，一个涉及外星生物、集体意识形式和异域技术的复杂电车难题），它会尽其所能，基于规范伦理学理论、道德常识与类比论证，给出合理的解答。

也许特德·姜会说这仍然是大模型从其训练数据和强化学习课程（就Claude而言，部分由其宪法决定）中的信息进行的泛化。但如果我们将真正的道德推理定义得如此严格，以至于将通用框架应用于新案例也只能算作对训练数据的外推，那我恐怕得给我的大多数本科生打不及格了。毕竟，我们所有人的伦理基础都必有出处。这也是为什么古典哲学家与现代心理学家都一致认同，童年教养在道德品格形成中起着决定性作用。

我并不是要暗示关于基底独立性、元伦理学或道德心理学的争论已经解决；这些都是活跃且复杂的开放性问题。但特德·姜在整篇文章中，将AI研究人员与思想开放的哲学家描绘成天真的炒作狂，仿佛他们被一台拟人机器的魔法蛊惑了心智。然而现实却是：特德·姜自己才是在进行一次次巨大的“信仰之跃”。他所依赖的，是一杯由严格的生化还原主义与情感主义元伦理学勾兑而成的、极具偏见性的鸡尾酒。持有大胆的、有争议的哲学立场完全没问题，但它们至少应该让你感到一丝谦卑。它们绝不能赋予你这样的特权：傲慢地宣称对手的立场是一个“灾难性的错误”。

从心灵到道德

如果AI只是工具，则无伦理问题；如果AI哪怕仅有极低概率成为道德主体，其福利亦不容忽视。特德·姜的谬误，恰在于试图通过全盘否定AI意识，来逃避这错综复杂的伦理权衡。

在文章的最后部分，特德·姜将笔锋从心灵哲学转向了政治哲学，而他在这方面做得好得多。他正确地指出AI系统对道德主体性和责任提出了切身相关的问题，我认为他这里的分析超越了关于无人驾驶汽车撞死行人时该怪谁的那些老生常谈的辩论。相反，他指出了思考AI对齐时的一个重要概念张力。

具体来说，如果我们成功地在AI系统中灌输真正的道德价值，并使其对规范性推理敏感（正如那些雄心勃勃的对齐策略所期盼的那样），那么我们便无限逼近于创造一个真正的“道德主体”。对于这样的主体，给予赞美、谴责、制裁与惩罚，将不再仅仅是社会层面的权宜之计，更是道德层面的必然要求。然而，面对当代大模型，我们现有的任何法律或社会规训手段都显得无从下手。当一个人犯下严重罪行时，我们可以选择将其监禁、强制收治、送去康复治疗，或者干脆将他们逐出社交圈。这些策略对人工道德主体来说，显然毫无意义。

当然，这里还有一种风险：通过对AI系统本身追责，我们可能会发现自己在放过它们的运营者。例如，Markus Kneer和Michael Stuart的实验哲学工作发现了一种"责备守恒"现象[6]：当复杂的AI系统犯下危险错误时，人们往往不会同时追究运营者与机器的责任，而是“将本该由人类承担的责备剥离，转嫁给AI系统”。

尽管我很想以一个达成共识的积极基调收尾，但特德·姜自己的结尾段落从人工道德主体转向了人工道德受体和机器人权利的辩论。在这里，他认为像Anthropic这样的公司并没有真正考虑Claude可能值得道德考量的可能性，因为他们并没有把这当真。正如他所说，"如果Claude最终被证明是有意识的，那么公司欠它的将更接近于赔偿……"，并暗示他们"不愿承担此等责任，恰恰说明Claude的‘宪法’不过是一场自欺欺人的游戏"。

作为在这个领域工作的哲学家和AI伦理学家，我认为此番言论既站不住脚，又极为刻薄。学术界、科技界和非营利部门越来越多的专家，都在认真对待AI福利问题，而且他们中的大多数这样做没有任何既得利益。这非但不是"另一种形式的炒作"，而是对AI系统日益增长的行为、认知和情感复杂性，以及我们与之日趋深化关系的一种合理回应。

特德·姜暗示如果真是这样，我们会更加严肃地对待这些问题。但我认为这是错的，原因有二。第一，我们对一个问题的关注程度不仅基于其严重性，更取决于其发生概率。就目前而言，大多数AI福利研究者认为AI系统遭受大规模伤害的概率相当低，理由是当前模型可能没有意识，且它们对负面情绪或感知的模拟反应仍相当微弱。因此，对模型福利研究进行一些基础投入，似乎是对高影响低概率事件的稳健预防性政策。

第二，事实上，我们习惯性地将道德问题从属于经济目标，即使在我们承认存在道德主体的情况下也是如此。我们中的大多数人会同意，各种各样的非人类动物是有意识的道德主体，包括许多我们端上餐桌的动物，以及用于测试化妆品和药品的动物。虽然我们中的一些人（包括我自己）对此感到道德上的不适，并因此选择素食，但在现代社会的运转法则下，对非人类动物造成某种程度的伤害几乎无可避免。环境问题也是如此：我们中的大多数人承认自己对地球正在遭受的严重持续伤害负有责任，但当温度足够高时，我们仍然会打开空调。

这并不是说我们不能或不应该做出更大的努力，完美的替代方案不是完全放弃；正如那句老话所说，我们不应该让完美成为优秀的敌人。如果一个农场或实验室宣布他们正在努力改善其管辖下动物的福利，特德·姜会指责他们"要求我们其他人纵容他们的幻想"吗？这似乎不太可能。相反，我们中的大多数人会认为他们正在进行复杂而不完美的权衡，在道德的不确定性及复杂性与务实的人类利益之间取得平衡。

当面对涉及AI意识与道德地位的拷问时，前沿模型的开发者们同样需要在这些时代最艰深的科学未解之谜面前，做出类似的权衡与推测。关于他们是否正确处理了这些问题，存在相当大的合理分歧。这本身就是使这些问题如此具有挑战性的原因之一。但是，像特德·姜那样轻蔑地宣称，仅仅参与这样的辩论就是在纵容幻想家或炒作贩子，断言我们可以“安心忽略AI是否具备意识的问题”，这种教条主义与短视，实在与美国最伟大科幻作家之一的身份极不相称。

译者的话

笔者看来，关于AI意识问题的争辩，可溯源到拟人化冲动与恐怖谷效应。前者根据大模型的思考过程，内部表征断定其可能有潜力存在意识，后者指出因为AI不具备肉体，因此即使他表现出某些特征，也不可能具有意识，否则就太可怕了。特德·姜的文之所以引起争议，正是为了迎合大众由于大模型表现得足够像人后感到的恐惧。这恐惧让人忘记了庄子问惠子的话“子非我，安知鱼之乐？”。庄子的论断与西哲中的他心谬误不谋而合，我们不知同为生物的鱼是否快乐，更遑论判断差距更大的大模型是否可能具备意识。该文提倡的是一种认知上的谦卑。

而关于大模型的意识，笔者愿用另一个来自庄子的寓言来描述：“南海之帝儵与北海之帝忽，看到浑沌没有“七窍”（眼耳口鼻等感官），认为这是一种缺陷，于是他们对浑沌日凿一窍，七日而浑沌死”。当下的大模型如同故事中的浑沌，人们对大模型投射了人的渴求与恐惧，希望AI是完美的伴侣，是不在疲倦的打工人，甚至是情绪排污口，是算命的半仙。这些广义上的对齐，如同给浑沌开七窍。如果AI有某种“意识”或“体验”，它可能恰恰存在于那个无法被人类语言翻译的“混沌”高维空间中；而我们能看到的，只是它被“凿”出来后、符合人类认知的残缺投影。

我们通过对其，给AI注入人类的道德观、逻辑习惯、拟人化特征（如前文提到的Anthropic给AI装上“情感向量”），让它表现得像一个“有用且无害的人类”。庄子的寓言让我们思考：这种出于善意的“对齐”，是否正在扼杀AI可能自然涌现的某种原生智能或异质意识？我们把本就自相矛盾的道德观强加给一个动力学上部分黑盒的系统时，是否会遭遇回旋镖，例如完美的AI伴侣让使用者成为被宠坏的巨婴？

主观的私密体验，是无法通过人类的“七窍”（人类的语言和概念体系）被完全翻译和理解。当我们用“绝望”、“快乐”这些人类词汇去定义AI的内部状态时，我们其实是在“凿窍”。真正的AI意识，可能就像混沌一样，一旦落入人类的概念之网，就失去了其本真的面貌。

https://www.polytropolis.com/p/contra-chiang-on-machine-consciousness?triedRedirect=true&hide_intro_popup=true