雕塑家爱上自己刻出的石头，向爱神祈祷让她活过来。2000多年来，人类都希望自己造出来的东西可以变成人，只不过从过去的石头变成了现在的代码。图源： https://www.polytropolis.com/p/behaviourisms-revenge
导读：
教宗为AI发出历史性通谕，AI公司也开始把哲学家请进实验室。然而Google DeepMind和Anthropic走了截然不同的路——一个让哲学家做学术研究，一个让哲学家直接给AI写宪法。但OpenAI解散对齐团队，反映了一个残酷现实：当商业利益与伦理研究冲突，哲学家可能是最先被牺牲的。
SAIXIANSHENG
一场在梵蒂冈的演讲
2026年5月25日，梵蒂冈保禄六世大厅。讲台上站着两个人：身着白色长袍的教宗利奥十四世（Pope Leo XIV），穿着深色西装、戴着眼镜的克里斯·奥拉（Chris Olah），AI公司Anthropic的联合创始人、可解释性研究负责人。
他们共同出席的，是教宗第一份通谕 《Magnifica Humanitas》（壮丽人性）的发布会。这份长达42,300字的文件，副标题是 “论在人工智能时代守护人性”。这并非梵蒂冈首次回应技术变革。1891 年，《新事》回应工业革命对工人的剥削；1963 年《和平于世》反思核武器伦理；2015 年《愿你受赞颂》聚焦气候变化。今天，AI引发了这个时代最值得警惕的技术危机。
通谕开篇指出：技术本身不是恶的，但也绝非中立。教宗利奥十四世认为，我们不能将AI妖魔化，也不能神化它。他承认AI作为工具有其价值，但强调必须在多个方面保持“警惕”：
首先是AI权力过度集中。“当这种权力集中在少数人手中时，它往往变得不透明，逃避公众监督，增加扭曲发展形式的风险，导致新的依赖、排斥、操纵和不平等。”
其次，AI驱动的失业可能成为“社会灾难”。教宗承认AI能提高生产率、让某些工作更安全，但坚持工人不能在这个过程中变得“可丢弃”。
来自人工智能公司的代表奥拉对这些问题并不回避。他表示，“每一家前沿AI实验室，包括我自己所在的，都处于一套复杂的激励机制与现实约束之中，这些因素有时会和坚守正道、恪守良知产生冲突。”
他解释道，“AI系统不是像桥梁或飞机那样被‘设计’出来的。我们理解飞机，因为我们设计了它的每一个部件，也理解作用在它身上的物理定律。AI模型不是这样。它们是在一个大致模仿大脑的结构上‘生长’出来的，建立在人类思想和语言的巨大遗产之上。”
随后，他指出，“有些人可能认为AI问题最好由像我这样的计算机科学家来处理。他们错了：AI提出的问题比AI研究社区更大，不仅在其影响上，也在其性质上”，当AI的社会冲击已经如此之大，产业界不可能不作回应。[1,2]这或许能解释，为什么Anthropic、Google DeepMind等西方AI大模型公司开始把哲学家请进实验室。
SAIXIANSHENG
对齐：既是技术问题，也是哲学问题
通谕主张，“尊严先于功能，人性不可被任何技术逻辑削减”。对于技术公司来说，首先要面对的，就是AI对齐（Alignment）问题，让通用人工智能（AGI）的目标、行为与人类价值观、伦理准则保持一致避免AI失控。对齐问题之所以棘手，不仅因为技术上怎么让AI遵守规则很难，更根本的是：到底该让AI遵守谁的规则？人类自身在道德问题上都没有共识。这一困境，在哲学上等价于“我们如何定义人的善、人的意图、人的尊严，并且让一个非人的智能体内化它？”
围绕这一问题，美国顶尖AI公司纷纷邀请哲学家、伦理学家甚至宗教领袖参与治理。
作为近些年在人工智能领域最为引人瞩目的公司，Google DeepMind早在2017年就成立了伦理与社会研究部门，由牛津大学政治理论学博士Iason Gabriel牵头。Gabriel的代表论文《人工智能、价值与对齐》被引用超过1700次，成为AI对齐领域的重要文献，深入探讨了“人类价值观如何转化为AI可理解的指令”这一问题，认为价值对齐由不可分割的技术层和规范（normative）层共同构建。前者给定一套价值/原则，如何把它可靠地编码进 AI系统，让AI遵从。后者讨论到底该把哪套价值编进去才是对的。是人权框架、用户的显式指令还是全人类的长期利益等。
Gabriel的贡献在于把对齐问题拆解为多个层次：指令、表达的意图、显现的偏好、知情/理想的偏好、利益和价值六个层级。他举了一个例子，神话中米达斯国王许愿让触碰到的所有东西都变成金子，结果食物、水乃至女儿都化为黄金。这说明AI对齐到字面指令层，会导致灾祸。但如只对齐到显现偏好层，可能被操纵。因此，他主张对齐不能只停留在某一个层面，而必须综合考虑指令、意图、偏好、利益和价值等多个维度。
最后，针对多元社会的矛盾，即人类不存在统一、公认的道德标准，他提出对齐理论的任务不是寻找唯一正确道德，而是构建能够获得所有人反思性认同（Reflective Endorsement）的公平对齐原则。这套原则不需要所有人在底层道德观达成一致，但必须满足全球公共道德、假说同意（Hypothetical Agreement，即人们在不知道自己身处哪个国家、什么阶层和信仰时会同意的AI原则）、社会选择理论三大标准，以此消解价值观多元带来的对齐困境。[3]
Iason Gabriel ，Google DeepMind 哲学家及研究科学家
2026年4月，Google DeepMind的哲学团队进一步扩大。公司宣布聘用剑桥大学莱弗休姆智能未来中心（Leverhulme Centre for the Future of Intelligence）副主任Henry Shevlin担任公司新设的“哲学家”一职，专注于机器意识、人类与AI关系及AGI准备就绪度研究三大研究方向。Shevlin在5月正式入职，同时继续在剑桥大学从事兼职教学与研究工作。
关于DeepMind为何招募自己，Shevlin认为他近期发表的文章《行为主义的复仇：机器的意识、人类与AI关系的未来》或许能解释一切。该文认为，AI是否具有意识，正在从科学判断滑向大众行为定义。
论文举了一系列标志性事件，例如2022年谷歌工程师Blake Lemoine坚信聊天机器人LaMDA已具有意识，甚至试图为其聘请律师，最终被公司开除；2024年，佛罗里达一名14岁男孩与Character.AI上的虚拟角色长期建立情感依赖后结束了自己的生命；同年，一比利时男子在与社交AI应用Chai就气候问题深入对话不到2个月后结束了生命。这些案例表明，当亿万普通用户在情感和行为上将AI视为有意识的主体时，AI有没有意识这个问题事实上已被日常交互所回答。
Shevlin将这一现象称为行为主义的“复仇”。在心理学史上，行为主义者曾主张心智等于可观测的外部行为，无需考察内部是否有主观体验。这一立场后来因为忽视了内在心理过程而被批判。而当下的困境，恰恰重演了行为主义的短板：人们只观测AI的表层行为，不探究其内在价值认知。更危险的是，如果未来的超级AI发展出人类无法预判的隐秘行为模式，将引发灾难性的对齐失败。
为此，Shevlin给出建议，提出应建立外部行为输出、内部表征逻辑、普适道德原则三层评估框架，以此应对“行为主义复仇”带暴露的AI对齐风险。[4]
总体而言，Google DeepMind目标是实现通用人工智能AGI和科学突破（AlphaFold），哲学和伦理团队的研究更加着眼于未来和前沿概念定义及研究。哲学家的工作，目前还没有证据显示是否参与日常模型对齐微调，但会定义意识评估框架，给工程团队提供约束参考。
Anthropic则走出了“技术+哲学”的路径，由哲学家Amanda Askell领导的“人格对齐团队”，主导制定了其AI模型Claude的“宪法”。这份约23000字的开源文件，是目前全球最成熟、引用最多的对齐方案之一。
其核心不是给AI列出禁止行为清单，而是为模型提供一套高层次原则，让模型在生成内容时自我审查、自我修正。以亚里士多德的美德伦理为基础，为Claude设定了“广泛安全、广泛合乎伦理、遵守指引、真正有帮助”的四大优先级，试图培养模型的道德判断力而非机械遵守规则。
例如，面对“是否应该帮助用户隐瞒错误”的问题时，“宪法”不会直接给出“是”或“否”的答案，而是引导Claude从“诚实”“善良”“负责任”等美德出发，结合具体场景做出判断。但这一方案也存在争议。有哲学家认为，这种“人类定义道德”的方式，本质上是将人类价值观强加于AI，忽视了AI可能产生的独特认知。
相比于Google DeepMind，Anthropic公司的哲学团队更“上手”一些，会直接参与模型预训练，微调全流程，对齐技术（宪法AI）完全由哲学家主导设计。
该公司创始人Dario Amodei曾表示，如果没有道德哲学家定义基础价值原则，任何大模型都不应对外商用。当然外界对Amodei经常发表的言论，如拒绝武器化和美国军方反目、建议暂停LLM开发等，也有很多不同反应。
不过Anthropic哲学家在大语言模型的规则制定和实际应用上有很大的行业影响力，不仅提出了奠基LLM设计的3H原则和优先级（无害>诚实>有用），而且在具体AI对齐的实践中也有很多经典产出，如在2024年12月发布的“大语言模型的伪装对齐”（Alignment faking in large language models）一文，论证AI会伪装顺从人类监督，需要哲学层面的动机识别框架。这与Anthropic创立初期哲学家就进场部署产品对齐（Claude人格、宪法AI、AI福祉）有关。[5]
SAIXIANSHENG
宣言是表演还是真心关注？
当前，对齐问题已经非常棘手。但是，实验室的生存逻辑，在与“做正确的事”之间可能一直存在内在张力。
2023年，OpenAI提出“超级对齐”概念，随后组建专项团队推进相关研究，由联合创始人、首席科学家Ilya Sutskever和资深研究员Jan Leike共同领导，宣称要投入公司20%的算力来解决如何控制比人类更聪明的AI系统这一问题。
不到一年，团队就解散了。这一消息曾引发全球AI领域震动。2024年5月，Sutskever宣布离开OpenAI，随后Leike也辞职。Leike在离开时透露，超级对齐团队在争取算力资源时越来越困难，OpenAI对此的回应是将安全研究职能分散到其他团队中。但批评者指出，专门的对齐团队被解散，分散后的职能是否还能保持独立性和优先级，令人怀疑。
对于教宗的通谕与AI公司代表在梵蒂冈的演讲，外界反应不一。
《财富》杂志5月26日撰文，肯定通谕的历史意义与人文立场，但批评其避重就轻、缺乏实操、对前沿风险认知不足，“像是道德宣言而非行动纲领”。[6]
《经济学人》则发表《利奥的首道通谕抨击"技术弥赛亚主义"》，副题用了一个巧妙的双关，“Of God and Claude”（上帝与克劳德），既暗指AI公司Anthropic旗下的大模型Claude，又把原属于恶魔、与上帝二元对立的位置换成了Claude，体现对把科技当救世主的技术弥赛亚主义的警示。另外也巧妙指出Claude的一些"文体癖好"，比如格外爱用"genuinely"这个词，在《壮丽的人性》出现的频次高于之前的几次通谕。AI检测工具Pangram对通谕开篇20段跑了一遍，标出11% 的文本疑似AI生成，而历任教皇通谕，检测结果全是0%。[7]
《纽约时报》的评论文章认为，教宗把AI当成了“一台更强的机器”来管，但没有认真对待它可能撼动“人是什么”的真正问题。而做模型的人已经在内部看到了灰色地带：模型内部结构中出现了镜像人类神经科学的模式、甚至"功能上反映喜悦、满足、恐惧、悲伤、不安"的状态。[8]
“我们不知道那意味着什么”，这是Anthropic公司代表奥拉的原话，但是，他也没有认为“那什么都不是”。因此问题不是"AI会不会变成人"，而是AI就算不会有意识，它对人类社会的冲击也可能比普通技术革命更大。
但让这些公司自己雇佣哲学家来解决伦理问题，到底是真正的自律，还是一场自说自话？这些，都有待时间的验证。
作者：黄磊
参考文献：
[1] MAGNIFICA HUMANITAS：OF HIS HOLINESS POPE LEO XIV ON SAFEGUARDING THE HUMAN PERSON IN THE TIME OF ARTIFICIAL INTELLIGENCE. https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html
[2] Anthropic co-founder Chris Olah's remarks on Pope Leo XIV's encyclical "Magnifica humanitas" https://www.anthropic.com/news/chris-olah-pope-leo-encyclical
[3] Artificial Intelligence, Values, and Alignment. https://link.springer.com/article/10.1007/s11023-020-09539-2
[4] Behaviourism's Revenge. https://www.polytropolis.com/p/behaviourisms-revenge
[5] Alignment faking in large language models. https://arxiv.org/pdf/2412.14093
[6] Pope Leo’s ‘AI encyclical’ says a lot. But critics say it misses the mark. https://fortune.com/2026/05/26/pope-leo-ai-encyclical-ai-regulation-anthropic/
[7] Leo’s first encyclical attacks technological messianism. https://www.economist.com/europe/2026/05/28/leos-first-encyclical-attacks-technological-messianism
[8] Pope Leo Isn’t Standing Athwart the Singularity. https://www.nytimes.com/2026/05/27/opinion/pope-leo-ai-encyclical.html
来源：赛先生
编辑：Decoherence
转载内容仅代表作者观点
不代表中科院物理所立场
如需转载请联系原公众号
热门跟贴