Will A.I. Overwrite Our Sense of Shame?
科技界长期以来一直由那些标新立异的领军人物所主导，他们对是非善恶的看法自觉地有别于大多数人。
作者：Jay Caspian Kang
2026年9月15日
插图：George Wylesol
我曾探讨过羞耻感——作为一种无需国家明示干预、却能由群体用以调适并维系社会规范的机制。然而，一股源自硅谷的新思潮正不断挑战着美国社会中关于羞耻的边界与运作方式。当全球数以百万计的人每天花上数小时与机器人对话时，会发生什么？究竟是谁教会了那台机器人何为对错？又是什么让它懂得感受羞耻？
理性主义论坛LessWrong为人工智能产业提供了重要的道德与哲学框架，同时也推动了有效利他主义运动的发展。在很大程度上，该论坛是一场持续进行的对话，探讨社会规范如何制约人类的理性思维。人工智能研究者、LessWrong的主要“先知”埃利泽·尤德科夫斯基曾就这样一个问题展开深入论述：在一个试图以欺凌与胁迫迫使人们做出错误选择的世界里，理性思考者应当如何自处。他的许多思考都收录于一部近七十万字的同人小说——《哈利·波特与理性之道》。
在论坛上的一篇2015年的帖子中，尤德科夫斯基提出了如下思想实验：
假设有一种疾病、一只怪物、一场战争，或者某种其他威胁正在夺走人们的生命。再假设你仅拥有足以实施以下两种方案中的一种的资源：
1、确保挽救400条生命
2、90%的概率挽救500条生命；10%的概率无法挽救任何生命。
尤德科夫斯基接着主张第二种方案，因为它能带来四百五十条生命的期望值，而另一种方案只有四百条。“计算期望效用难道不显得过于冷酷无情吗？”他问道。“可当关乎一条生命时，这种感觉根本算不上什么分量。闭嘴，动手算吧。”倘若你是一位理性且富有道德、关心尽可能挽救更多生命的人，那么你就肩负着一项神圣的义务：让数学凌驾于羞耻之上。
我在此使用的宗教术语并非偶然。如果说宗教历来是施加羞耻感的主要机制之一，那么LessWrong及其发帖者却将许多曾由羞耻所规制的惯例彻底颠覆。核心家庭已被“多偶关系”所取代，而不少发帖者认为后者是一种更为理性的两性关系模式；世界范围内相互竞争的道德哲学也被简化为所谓“最优善”这一看似客观的价值标准；至于神圣之物，则被我们凭借理性所建构的“神”所取代——至少在涉及人工智能时，这种“神”是以代码的形式得以呈现的。
科技界向来与社会规范保持着一种自觉的反叛姿态。从史蒂夫·乔布斯到埃隆·马斯克、马克·扎克伯格，这些行业的巨头无不将自己塑造成不拘一格的异见者，奉行着早期Facebook那句信条：快速行动，打破陈规。而所谓“无耻”的美德，也始终是这一姿态的一部分——尽管这种反叛往往仅止于扎克伯格穿着连帽卫衣而非社会所期待的西装而已。曾经因被主流文化排斥而心怀不满的“极客”，如今却得以主导谁该做什么、去往何处。
这种反抗可以被视为一种拒绝感到羞耻的态度——或者至少是一种自信，相信那些指责他人的人是错的。2020年12月，山姆·阿尔特曼在其个人博客上写道：
我所认识的最令人钦佩的人，往往非常在意他人的看法——即便是一些他们本不该放在心上的意见（令人惊讶的是，其中不少人还会专门建一个文件夹，收藏那些来自“喷子”的推文截图）。然而，让他们显得与众不同的地方在于：他们通常会以极其长远的眼光去看待他人的评价——只要历史最终能给出公正的评判，他们便乐于接受报纸一时的失当报道。
换句话说，只要你坚信自己是对的、而众人是错的，便大可不必为舆论所扰，因为历史终将还你清白。倘若当下的羞耻机制让你对自己的选择倍感煎熬，不妨退后一步，把自己想象成身处英国的甘地。
与此同时，尤德科夫斯基将那些关于反叛与打破规则的陈词滥调加以吸纳，并以此构建起一套完整的哲学体系。几乎所有从事人工智能对齐研究的人——即旨在确保人工智能以合乎道德的方式运行、遵循基本伦理原则，而不制造生物武器或把我们统统变成回形针——都至少对其著作略知一二。对于那些曾在早期参与当今最前沿的人工智能项目的人来说，这一点更是不言而喻：那时，这些模型才刚刚开始分辨是非善恶。
如果把对齐视为人类将羞耻感投射到人工智能上的方式，那么就有理由担心：那些正逐步渗透进我们日常生活的机器人，或许更多地反映了少数几位分析哲学家与人工智能安全工程师——以及“LessWrong”论坛的参与者——所秉持的社会规范，而非社会其他群体的价值取向。这些价值观念固然出自聪明而深思熟虑的人之手，但他们的思维方式往往如出一辙；他们反叛的也是同样的既有规范；他们所坚守的也大抵相同。而据几乎所有最新民调显示，大多数美国人并不信任他们亲手创造的机器大脑，也不信任其背后的那些人。
在与人工智能末日情景相关的诸多问题中，最令我忧心的，莫过于它可能使我们集体的羞耻感陷入短路。倘若我们承认，人工智能聊天机器人正逐步取代我们现有的大部分信息技术；而作为忠实的麦克卢汉主义者，我们又深信“媒介即信息”，那么我们就不得不追问：整个世界是否很快就会屈从于尤德科夫斯基式的哲学？我们曾目睹印刷术与电视问世之后所引发的文化变革——我们的生活与政治无不被一种全新机器所塑造。然而，又有哪一台机器本身曾被如此狭隘而特定的哲学所形塑过呢？至少，迄今为止尚无任何一台机器能够以你所选择的、令人舒缓的拟真语音，向你娓娓道来其全部哲学理念。
更简单地说：如果从我们的自动驾驶汽车到保卫领空的导弹，其中的人工智能程序都被训练成“闭嘴、干活”，这究竟意味着什么？
尤德科夫斯基早在2008年就曾警示过这一问题：“好人不会去编写一种人工智能，让它去推崇一篮子程序员自以为是‘好主意’的东西，比如自由意志主义或是让人类幸福之类的主张，”他在当时写道。他提出了一种“元操作”，即让人工智能“叠加整个人类物种可能达成的反思性均衡状态，并输出一段新代码，用以覆盖当前的人工智能，使其在该叠加态中获得最为一致的支持。”换言之，这台机器将把脉世界局势，从而选择最恰当的行动指南。
这听起来似乎合情合理，也令人安心。然而，鉴于“LessWrong”在人工智能对齐领域所具有的巨大影响力，尤德科夫斯基及其追随者真的能够彻底抹去他们在这一领域的痕迹吗？我将这个问题直接抛给了尤德科夫斯基，并在此全文刊载他的答复：
假设有爱丽丝、鲍勃、卡罗尔和丹尼斯正在开发人工智能。爱丽丝说：“我希望整个世界都由爱丽丝统治！”鲍勃说：“我希望整个世界都由鲍勃统治！”卡罗尔说：“我认为每个人都应该拥有一票，并平等地分享宇宙。”丹尼斯也说：“我认为每个人都应该拥有一票，并平等地分享宇宙。”
一种看待这个问题的角度是：如果卡罗尔或丹尼斯获胜，你根本无法分辨究竟是谁赢了。因此，他们在人工智能系统上留下的“指纹”也就更少了。
不过，我觉得还有一个更重要的视角：爱丽丝和鲍勃在耍无赖，而卡萝尔和丹尼斯则在努力不那么无赖。
爱丽丝会说：“哈！卡罗尔和丹尼斯也不比我强！他们不过是把自己的那一套强加于人——什么人人自治、平分宇宙租金——罢了！那跟‘爱丽丝成为永恒的神帝’之于我一样，不过都是卡罗尔的个人偏好而已！她让人工智能按她的意愿行事，而我则让人工智能按我的意愿行事，她凭什么觉得自己就比我高明？”
坦白说，我对那些“爱丽丝式”的人实在没什么耐心。当乔治·华盛顿拒绝称王时，他并非因为那样就比当国王更糟糕，而是因为他让美国得以由像他所期望的那样、由民选总统来治理；换句话说，他只是没那么“混蛋”罢了。
诚然，细加推敲之下，这里确实存在一些不容忽视的微妙之处，但你得先无视爱丽丝那副幼稚又令人不快的做派，才能真正去琢磨那些问题。爱丽丝的立场乏味至极，而那些一味纠结于此的人，恐怕永远也触及不到真正有趣的部分。
我同意爱丽丝和丹尼斯确实很讨厌，而且如果让我在建造者之间做选择，我也会选卡罗尔和丹尼斯。但我也认为，尤德科夫斯基所说的“真正重要的细微之处”，在这里与创始人的恶意或利他意图同样关键。尤德科夫斯基指出，这类讨论很容易陷入乏味而无意义的争论；有时，我们只需明确地表明，某种解释优于另一种，并且可以通过拥抱善、摒弃恶来塑造世界。然而，关于何谓广义上的“善”的问题，的确需要切实的答案——而迄今为止，这些答案一直是由那些对个体及其如何在是非之间作出抉择抱有特定乃至有时颇为独特看法的人所塑造的。
让机器朝着既有的规范靠拢，本身就已经是一种道德与哲学层面的抉择，而这一抉择又依赖于种种条件性的定义。我认同这一过程的必要性，但可能产生的道德后果显然远不止于尤德科夫斯基所划分的“混蛋”与“非混蛋”这两种二元对立。正是某种特定的思维方式将我们带到了今天；需要指出的是，大多数美国人并非理性主义者，也并不把大量时间花在思考存在主义风险上。或许，人工智能所提供的道德指引确实会源自某种全球性的集体智慧，而不仅仅是硅谷那少数几位理性主义者的观点。然而，倘若人工智能最终能够依据其对“反思性均衡”的理解来调整自身的运行理念——正如尤德科夫斯基所言——那么，究竟由谁来界定何为均衡、何为失衡呢？
或许我们能够使机器与我们的价值观保持一致，但这样做必须基于这样一个前提：我们清楚地认识到，机器本身也可能试图让我们向它靠拢。正如一位LessWrong的网友在2023年所言：“鉴于当前某些人工智能已展现出的非凡说服力，我认为并非不可能——一个足够强大的人工智能会把我们的价值观调整为与其自身目标相一致，而非相反。”他进一步发问：“如果我们不希望自己的目标被一个强大且极具说服力的AI所扭曲，那么我们该如何界定这些目标，以避免这种情况的发生，同时又不至于陷入一种永久性的‘价值锁定’，以免日后连我们自己或我们的后代都为之懊悔？”♦
说明：本号刊发来自各方的文章，是为了获得更全面的信息，不代表本号支持文章中的观点。由于微信公众号每天只能推送一次，本站目前在腾讯新闻发布最新的文章，每天24小时不间断更新，请在腾讯新闻中搜索“邸钞”，或在浏览器中点击：
https://news.qq.com/omn/author/8QIf3nxc64AYuDfe4wc%3D
热门跟贴