伦理的不完整（全文万字）|伦理学|公理|哥德尔|康德|集合论

#伦理#逻辑和概率#计算和人工智能

图片通过AI生成

许多人希望人工智能能够发现道德真理。但正如哥德尔所表明的那样，决定什么是正确的永远是我们的负担

想象一下，在这个世界里，人工智能被赋予了最高的道德责任：对罪犯进行量刑、分配医疗资源，甚至调解国家之间的冲突。这似乎是人类进步的顶峰：一个不受情感、偏见或不一致的负担的实体，以无可挑剔的精确度做出道德决策。与人类法官或政策制定者不同，机器不会被个人利益或推理失误所左右。它不会说谎。它不接受贿赂或请求。它不会为艰难的决定而哭泣。

然而，在这种理想化的道德仲裁者的愿景之下隐藏着一个基本问题：机器能否像人类一样理解道德，还是仅限于伦理推理的模拟？人工智能可能会复制人类的决策而不加以改进，从而继承人类道德判断的相同偏见、盲点和文化扭曲。在试图效仿我们的过程中，它可能只会复制我们的局限性，而不是超越它们。但还有一个更深层次的担忧。道德判断借鉴了直觉、历史意识和背景——这些品质抵制形式化。伦理学可能如此根植于生活经验中，以至于任何将其编码为形式结构的尝试都有可能使其最基本的特征扁平化。如果是这样，人工智能不仅会反映人类的缺点，还会反映人类的缺点。它将剥夺道德的深度，而道德首先使道德反思成为可能。

尽管如此，许多人仍试图将伦理学形式化，将某些道德主张视为不作为结论，而是作为起点。一个典型的例子来自功利主义，它通常以一个人应该采取行动以最大限度地提高整体福祉的原则作为基本公理。由此可以得出更具体的原则，例如，让大多数人受益是正确的，或者应该根据其对完全幸福的后果来判断行为。随着计算资源的增加，人工智能越来越适合从固定的道德假设开始，并通过其在复杂情况下的影响进行推理。

我是斜杠青年，一个PE背景的杂食性学者！♥致力于剖析如何解决我们这个时代的重大问题！♥使用数据和研究来解真正有所作为的因素！

但是，将伦理学这样的东西正式化到底意味着什么？通过观察正式系统长期以来发挥核心作用的领域，这个问题更容易理解。例如，物理学几个世纪以来一直依赖形式化。没有单一的物理理论可以解释一切。相反，我们有许多物理理论，每种理论都旨在描述宇宙的特定方面：从夸克和电子的行为到星系的运动。这些理论经常存在分歧。例如，亚里士多德物理学用朝向地球中心的自然运动来解释坠落的物体;牛顿力学用万能引力取代了这一点。这些解释不仅不同，而且不同。它们是不相容的。然而，两者都有一个共同的结构：它们从基本假设开始——关于运动、力或质量的假设——并得出越来越复杂的后果。艾萨克·牛顿的运动定律和詹姆斯·克拉克·麦克斯韦的方程就是典型的例子：紧凑、优雅的公式，从中可以推导出对物理世界的广泛预测。

伦理理论也有类似的结构。就像物理理论一样，它们试图描述一个领域——在这种情况下，是道德景观。他们旨在回答有关哪些行为是对的或错的以及为什么的问题。这些理论也存在分歧，即使他们推荐类似的行动，例如捐赠给慈善机构，他们也以不同的方式证明它们的合理性。伦理理论也经常从一小部分基本原则或主张开始，从中推理出更复杂的道德问题。结果主义者一开始的想法是，行动应该最大限度地提高幸福感;道义论者从行为必须尊重义务或权利的想法出发。这些基本承诺的功能与物理学中的对应承诺类似：它们定义了每个伦理理论中道德推理的结构。

正如人工智能在物理学中用于在现有理论中运行一样——例如，优化实验设计或预测复杂系统的行为——它也可以用于伦理学中，在给定框架内扩展道德推理。在物理学中，人工智能通常在既定模型内运行，而不是提出新的物理定律或概念框架。它可以计算多种力如何相互作用并预测它们对物理系统的综合影响。同样，在伦理学中，人工智能不会产生新的道德原则，而是将现有的道德原则应用于新颖且往往复杂的情况。它可能会权衡相互竞争的价值观——公平、伤害最小化、正义——并评估它们对哪种行动在道德上是最好的综合影响。结果不是新的道德体系，而是对现有道德体系的深化应用，由科学建模基础的相同形式推理塑造。但是，人工智能对道德的了解是否存在固有的局限性？是否存在任何机器，无论多么先进，都无法证明的真正伦理命题？

这些问题呼应了数理逻辑中的一个基本发现，可能是有史以来最基本的见解：库尔特·哥德尔的不完备性定理。他们表明，任何足以描述算术的逻辑系统要么不一致，要么不完整。在本文中，我认为这种限制虽然起源于数学，但对伦理以及我们如何设计人工智能系统进行道德推理产生了深远的影响。

假设我们设计一个人工智能系统来模拟道德决策。与其他人工智能系统一样——无论是预测股票价格、导航道路还是策划内容——它都会被编程为最大化某些预定义的目标。为此，它必须依赖于形式化的计算逻辑：要么是演绎推理，从固定规则和公理中得出结论，要么是概率推理，根据数据模式估计可能性。无论哪种情况，人工智能都必须采用数学结构进行道德评估。但哥德尔的不完备性定理揭示了一个根本的局限性。哥德尔表明，任何足以表达算术的形式系统，例如自然数及其运算，都不可能既完整又一致。如果这样的系统是一致的，总会有它无法证明的真实陈述。特别是，当应用于人工智能时，这表明任何能够进行丰富道德推理的系统都不可避免地存在道德盲点：它无法得出的伦理真理。这里，“真”指的是算术标准解释中的真值，例如“2 + 2 = 4”的说法，这在普通数学规则下是正确的。如果系统不一致，那么它就可以证明任何东西，包括矛盾，使其无法作为道德决策的指南。

哥德尔不完备性定理不仅适用于人工智能，也适用于形式系统内的任何伦理推理。关键区别在于，人类推理者至少在原则上可以修改他们的假设，采用新的原则，并重新思考框架本身。相比之下，人工智能仍然受其赋予的形式结构的约束，或者在它只能在预定义约束下修改的形式结构中运行。通过这种方式，哥德尔定理为人工智能如果建立在正式系统之上，可以从这些系统内完全证明或验证道德，设定了一个逻辑界限。

我们大多数人第一次接触公理是在学校，通常是通过几何。一个著名的例子是平行公设，它说如果你选择一个不在一条线上的点，你可以只画一条平行于原始线的点穿过该点。2000多年来，这似乎是不言而喻的。然而，在 19 世纪，卡尔·弗里德里希·高斯、尼古拉·罗巴切夫斯基和雅诺斯·博利亚伊等数学家表明，构建平行假设不成立的内部一致几何是可能的。在一些这样的几何形状中，不存在平行线;在另一些国家，则无数人这样做。这些非欧几里得几何打破了欧几里得公理独特地描述空间的信念。

总会有真实但无法证明的陈述，最值得注意的是系统自己的一致性声明

这一发现引发了更深层次的担忧。如果长期以来被认为不言而喻的平行假设可以被抛弃，那么定义自然数以及加法和乘法运算的算术公理呢？我们凭什么可以相信它们没有隐藏的不一致之处？然而，伴随着这一挑战而来的是一个承诺。如果我们能够证明算术公理是一致的，那么就有可能扩展它们以开发一组一致的更丰富的公理，这些公理定义了整数、有理数、实数、复数等。正如 19 世纪数学家利奥波德·克罗内克（Leopold Kronecker）所说：“上帝创造了自然数;其他一切都是人的工作。证明算术的一致性将证明许多重要数学领域的一致性。

证明算术一致性的方法是由数学家大卫·希尔伯特提出的。他的方法包括两个步骤。首先，希尔伯特认为，为了证明形式系统的一致性，必须能够在系统自己的符号语言中提出一个相当于“这个系统是一致的”的主张，然后仅使用系统自己的推理规则来证明该主张。证明不应该依赖于系统之外的任何东西，甚至不依赖其公理的假定“自证”。其次，希尔伯特主张将算术建立在更基本的东西上。这项任务是由伯特兰·罗素（Bertrand Russell）和阿尔弗雷德·诺斯·怀特海（Alfred North Whitehead）在他们不朽的《数学原理》（1910-13）中完成的。在符号逻辑领域工作，该领域不涉及数字，而是涉及“如果 x，则 y”等抽象命题，他们表明算术公理可以从较小的逻辑公理集中推导出定理。这留下了最后一个挑战：这组符号逻辑公理（可以建立算术）能否证明自己的一致性？如果可以的话，希尔伯特的梦想就会实现。这种希望成为 20 世纪初数学的指导目标。

正是在这种乐观的气氛中，年轻的奥地利逻辑学家库尔特·哥德尔（Kurt Gödel）提出了一个结果，该结果将瓦解希尔伯特的愿景。1931年，哥德尔发表了他的不完备性定理，表明这样一个完全自给自足的数学系统的想法本身是不可能的。具体来说，哥德尔表明，如果一个形式系统满足几个条件，它将包含它无法证明的真实主张。它必须足够复杂以表达算术，包括归纳原理（允许它通过证明一般陈述对基本情况和每个连续步骤成立来证明一般陈述），一致，并具有一组可判定的公理（这意味着可以确定，对于任何给定的陈述，它是否符合公理的条件）。任何满足这些条件的系统，例如罗素和怀特海在《数学原理》中开发的一组逻辑公理，都必然是不完整的：总会有一些陈述在系统内可以表达，但无法从其公理中证明。更引人注目的是，哥德尔表明，这样的系统可以表达，但不能证明它本身是一致的。

哥德尔的证明（我在这里简化）依赖于他的句法算术化得出的两个关键见解，即将形式系统的任何句子与特定的自然数（称为其哥德尔数）相关联的强大想法。首先，任何复杂到足以表达算术和归纳法的系统都必须允许具有自由变量的公式，例如 S（x）： 'x = 10'，其真值取决于 x 的值。当 x 实际上为 10 时，S（x）为真，否则为 false。由于系统中的每个语句都有一个唯一的哥德尔数 G（S），因此公式可以引用它自己的哥德尔数。具体来说，系统可以形成诸如 S（G（S））之类的语句：“G（S） = 10”，其真值取决于 S（x）自己的哥德尔数是否等于 10。其次，在任何逻辑系统中，公式 S 的证明都有一定的结构：从公理开始，应用推理规则从这些公理生成新公式，最终推导出 S 本身。就像每个公式 S 都有一个哥德尔数 G（S）一样，通过将证明中的整个公式序列视为一个长公式，S 的每个证明都被分配一个哥德尔数。因此，我们可以定义一个证明关系 P（x， y），其中 P（x， y）成立，当且仅当 x 是 S 证明的哥德尔数，并且 y 是 S 本身的哥德尔数时。x 编码 S 证明的声明成为系统内的语句，即 P（x， y）。

第三，基于这些思想，哥德尔表明，任何能够表达算术和归纳原理的形式系统也可以制定关于其自身证明的陈述。例如，系统可以表达这样的语句：“n 不是公式 S 证明的哥德尔数”。由此，它可以更进一步表达这样的主张：“没有一个数字 n，使得 n 是公式 S 证明的哥德尔数。”换句话说，系统可以说某个公式 S 在系统内是不可证明的。第四，哥德尔巧妙地构建了一个自指公式 P，它断言：“没有一个数字 n 使得 n 是公式 P 证明的哥德尔数。”也就是说，P 自己说，“P 是不可证明的。这样，P 就是一个形式陈述，表达了它自己在系统内部的不可证明性。

紧接着，如果公式 P 在系统内是可证明的，那么它就是错误的，因为它断言它没有证据。这意味着该系统被证明是错误的，因此是不一致的。因此，如果系统是一致的，那么 P 就无法证明，因此 P 确实是不可证明的。这导致了这样的结论：在任何足以表达算术和归纳法的一致形式系统中，总会有真实但不可证明的陈述，最值得注意的是系统自己的一致性主张。

哥德尔定理的含义既深刻又令人不安。它们粉碎了希尔伯特的希望，即数学可以简化为一个完整的、机械的推导系统，并暴露了形式推理的固有局限性。最初，哥德尔的发现遇到了阻力，一些数学家认为他的结果并不像看起来那么普遍。然而，随着后来的数学家和逻辑学家，最著名的约翰·冯·诺依曼，证实了它们的正确性和广泛适用性，哥德尔定理被广泛认为是数学基础中最重要的发现之一。

哥德尔的结果也引发了哲学辩论。例如，数学家和物理学家罗杰·彭罗斯（Roger Penrose）认为，他们指出了人类认知和形式算法推理之间的根本区别。他声称，人类意识使我们能够以任何算法过程都无法复制的方式感知某些真理——例如哥德尔证明在形式系统中无法证明的真理。对于彭罗斯来说，这表明意识的某些方面可能超出了计算的范围。他的结论与约翰·塞尔的“中国房间”论点相似，该论点认为之所以如此，是因为算法纯粹在句法上纵符号，而没有掌握其语义内容。尽管如此，彭罗斯和塞尔得出的结论并不直接来自哥德尔定理。哥德尔的结果严格适用于形式数学系统，不对意识或认知提出主张。人类的头脑是否能够将无法证明的真理识别为真实，或者机器是否能够拥有能够识别这种真理的头脑，仍然是一个悬而未决的哲学问题。

道德不仅仅是做正确的事，而是理解为什么它是正确的

然而，哥德尔的不完备性定理确实揭示了算法推理的深刻局限性，尤其是人工智能，它不仅涉及计算，还涉及道德推理本身。如果没有他的定理，至少可以想象人工智能可以形式化所有道德真理，此外，还可以从一组一致的公理中证明它们。但哥德尔的工作表明这是不可能的。任何人工智能，无论多么复杂，都无法证明它所能表达的所有道德真理。真理主张和可证明性之间的差距为正式的道德推理可以走多远设定了一个基本界限，即使对于最强大的机器也是如此。

这给伦理带来了两个截然不同的问题。第一个是古老的。正如柏拉图在《优西弗罗》中所建议的那样，道德不仅仅是做正确的事情，而是理解为什么它是正确的。道德行为需要理由，一种基于理性的解释。这种理性道德正当化的理想激发了我们的大部分伦理思想，但哥德尔定理表明，如果道德推理被形式化，那么就会有道德真理在这些体系中无法证明。通过这种方式，哥德尔不仅破坏了希尔伯特证明数学一致性的愿景;他也可能动摇了柏拉图将伦理学完全建立在理性的希望上。

第二个问题更实际。即使是高性能的人工智能也可能遇到无法仅使用给定的道德框架来证明或解释其建议的合理性的情况。人们担心的不仅是人工智能可能采取不道德的行为，还在于它无法证明其行为是合乎道德的。当人工智能被用来指导或证明人类做出的决策时，这一点变得尤为紧迫。即使是高性能的人工智能也会遇到一个边界，超过这个边界，它无法仅使用自己框架的资源来证明或解释其决策的合理性。无论它变得多么先进，它都会有可以表达的伦理真理，但永远无法证明。

现代人工智能的发展通常分为两种方法：基于逻辑的人工智能（通过严格的演义得出知识）和大型语言模型（LLM），从统计模式预测意义。这两种方法都依赖于数学结构。形式逻辑基于符号作和集合论。法学硕士并不严格地基于演绎逻辑，而是结合使用统计推理、模式识别和计算技术来生成响应。

正如公理为数学推理提供基础一样，法学硕士也依靠数据中的统计关系来近似逻辑推理。他们不是通过推断道德真理来参与伦理，而是通过复制此类辩论如何在语言中展开。这是通过梯度下降实现的，梯度下降是一种算法，通过在减少误差的方向上更新权重来最小化损失函数，近似将输入映射到输出的复杂函数，使它们能够从大量数据中概括模式。它们不推断答案，而是生成合理的答案，“推理”来自数十亿个神经网络参数，而不是明确的规则。虽然它们主要用作概率模型，根据统计模式预测文本，但计算逻辑在神经网络中的优化、基于规则的推理和某些决策过程中发挥着作用。

但概率和统计学本身就是形式系统，不仅以算术为基础，还以概率公理为基础，例如苏联数学家安德烈·柯尔莫哥洛夫（Andrey Kolmogorov）提出的公理，这些公理控制着复杂事件的可能性如何推导、用新数据更新以及如何跨场景聚合。任何复杂到足以表达概率或统计主张的形式语言也可以表达算术，因此受哥德尔不完备性定理的约束。这意味着法学硕士继承了哥德尔的局限性。即使是将逻辑推理与概率建模相结合的混合系统，如 IBM Watson、OpenAI Codex 或 DeepMind 的 AlphaGo，仍然受到哥德尔限制的约束。所有基于规则的组件都受到哥德尔定理的约束，该定理表明一些在系统中可表达的真命题无法在系统内得到证明。就概率成分而言，它们受形式公理的支配，这些公理定义了概率分布的更新方式、不确定性的聚合方式以及如何得出结论。他们可以得出合理的答案，但他们无法在他们接受训练的统计模式之外证明这些答案的合理性。

一些基本的数学问题超出了正式的解决范围

乍一看，哥德尔对人工智能，尤其是法学硕士的限制似乎无关紧要。毕竟，大多数道德体系从来都不是为了解决所有可以想象到的道德问题。它们旨在指导特定领域，例如战争、法律或商业，并且通常依赖于仅松散形式化的原则。如果可以针对具体案例制定正式模型，有人可能会争辩说，无法完全正式化伦理并不是特别令人不安。此外，哥德尔的不完备性定理并没有停止数学家的日常工作。数学家继续寻找证明，即使知道一些真实的陈述可能是无法证明的。本着同样的精神，某些伦理真理可能超出正式证据这一事实不应阻止人类或人工智能寻求它们、阐明它们并试图证明它们的合理性或证明它们。

但哥德尔的发现不仅仅是理论上的。它们对数学本身产生了实际影响。一个引人注目的案例是连续介质假说，它询问是否存在一个基数严格介于自然数和实数之间的集合。这个问题源于集合论，集合论是处理数学实体集合的数学领域，例如数字、函数甚至其他集合。它最广泛接受的公理化，即集合论的 Zermelo-Fraenkel 公理和选择公理，几乎是所有现代数学的基础。1938 年，哥德尔本人证明，假设这些公理是一致的，连续体假说不能从这些公理中反驳。1963 年，保罗·科恩（Paul Cohen）证明了相反的情况：连续体假说也无法从相同的公理中证明。这一具有里程碑意义的结果证实，一些基本的数学问题超出了正式解决的范围。

我认为，这同样适用于伦理学。哥德尔在数学中揭示的局限性不仅在理论上与人工智能伦理相关;它们具有实际重要性。首先，正如数学包含无法在其自身公理中证明的真实陈述一样，很可能存在形式上无法证明但在伦理上重要的伦理真理——连续体假说的道德等价物。这些问题可能出现在旨在处理困难权衡的系统中，例如权衡公平与损害。我们无法预见在正式道德框架内运行的人工智能何时，甚至是否会遇到这样的限制。正如科恩在哥德尔不完备性定理之后花了 30 多年时间才证明连续体假说的独立性一样，我们无法预测何时（如果有的话）我们会遇到在人工智能伦理体系中可以表达但仍然无法证明的伦理原则。

其次，哥德尔还表明，没有足够复杂的形式系统可以证明自己的一致性。这在伦理学中尤其令人不安，在伦理学中，我们的伦理框架是否一致还很不清楚。这不是人工智能独有的限制;人类也无法证明他们构建的形式系统的一致性。但这对人工智能来说尤其重要，因为它最雄心勃勃的承诺之一是超越人类的判断：更清晰、更公正、更大规模地进行推理。

哥德尔的结果为这一愿望设定了硬性限制。限制是结构性的，而不仅仅是技术性的。正如爱因斯坦的相对论对宇宙设定了速度上限一样——无论我们的航天器多么先进，我们都无法超过光速——哥德尔定理对形式推理施加了界限：无论人工智能变得多么先进，它都无法逃脱它所运行的形式系统的不完整性。此外，哥德尔定理可能会以不可预见的方式限制实际伦理推理，就像一些重要的数学猜想已被证明无法从集合论的标准公理中证明一样，或者因为光速虽然无法达到，但仍然对工程和天体物理学施加了真正的限制。例如，在我写这篇文章的时候，美国宇航局的帕克太阳探测器是历史上最快的人造物体，以每小时大约 430,000 英里（约700,000 公里）的速度行驶，仅为光速的 0.064%。然而，这个上限仍然至关重要：例如，有限的光速塑造了太空探测器、着陆器和漫游车的设计，所有这些都至少需要半自主运行，因为来自地球的无线电信号需要几分钟甚至几小时才能到达。哥德尔定理可能会以类似令人惊讶的方式限制伦理计算。

无论人工智能学习多少，都会有关于正义的主张，它永远无法在自己的系统中证明

哥德尔的结果与人工智能伦理特别相关还有另一个原因。与基于规则的静态系统不同，先进的人工智能，特别是大型语言模型和自适应学习系统，不仅可以应用预定义的道德框架，还可以随着时间的推移修改其中的要素。人工智能驱动的道德推理的一个核心承诺是它能够通过学习完善伦理模型，解决人类道德判断中的模糊性和盲点。随着人工智能系统的发展，它们可能会尝试修改自己的公理或参数以响应新数据或反馈。对于在庞大且不断变化的数据集上训练的机器学习系统以及将逻辑推理与统计推理相结合的混合模型尤其如此。然而，哥德尔的结果揭示了一个结构上的局限性：如果一个伦理框架在一个足够表达的形式体系中被形式化，那么没有一组一致的公理可以证明其中所有可表达的真实陈述。

为了说明这一点，考虑一个负责维护正义的人工智能。它可以按照广泛接受的道德原则进行编程，例如公平和伤害最小化。虽然基于这些原则的人造正义模型不可避免地过于简单化，受到计算限制和认知偏差的限制，但从理论上讲，人工智能没有这样的限制。它可以不断地从实际的人类行为中学习，完善其理解并构建一种日益细致入微的正义概念，将人类经验的越来越多的维度编织在一起。如前所述，它甚至可以改变自己的公理。但无论人工智能学习多少，或者它如何修改自己，总会有关于正义的主张，虽然它可能能够建模，但它永远无法在自己的系统内证明。更令人不安的是，人工智能将无法证明它构建的道德体系在内部是一致的——它不会在其庞大的道德推理网络中的某个地方自相矛盾——除非它是不一致的，在这种情况下，它可以证明任何东西，包括虚假，比如它自己的一致性。

最终，哥德尔的不完备性定理对人工智能可以实现完美伦理推理的观念发出警告。正如数学总是包含无法正式证明的真理一样，道德也总是包含无法通过算法解决的复杂性。问题不仅仅是人工智能是否能够做出道德决策，而是它是否能够克服任何基于预定义逻辑的系统的局限性——正如哥德尔所表明的那样，这些局限性可能会阻止某些真理在系统内被证明，即使它们是可识别的。虽然人工智能伦理一直在努力解决偏见、公平和可解释性问题，但更深层次的挑战仍然存在：人工智能能否认识到自身道德推理的局限性？这一挑战可能会在人为伦理和人类伦理之间设置一个不可逾越的界限。

哥德尔不完备性定理与机器伦理学之间的关系凸显了一种结构上的相似之处：正如没有一个形式系统可以既完整又自成一体一样，没有一个人工智能可以实现既详尽又完全可证明的道德推理。从某种意义上说，哥德尔的发现扩展并复杂化了康德传统。康德认为，知识取决于先验真理，即构建我们现实经验的基本假设。哥德尔定理表明，即使在建立在明确定义的公理之上的形式系统中，仍然存在超出系统建立它们的能力的真理。如果康德试图通过知识的必要先决条件来定义理性的局限性，那么哥德尔则揭示了形式推理本身的内在不完整性，这是任何一套公理都无法从内部解决的。总会有超出其计算掌握的道德真理，即抵制算法解决的伦理问题。

因此，更深层次的问题在于人工智能无法识别其自身推理框架的边界——它无法知道其道德结论何时建立在不完整的前提之上，或者何时问题超出了其伦理体系可以正式解决的范围。虽然人类也面临认知和认识限制，但我们不受给定形式结构的约束。我们可以发明新的公理，质疑旧的公理，或者根据哲学洞察力或伦理深思熟虑修改我们的整个框架。相比之下，人工智能系统只有在其架构允许的情况下才能生成或采用新的公理，即便如此，此类修改也会发生在预定义的元规则或优化目标内。他们缺乏概念反思的能力，无法指导人类在基本假设中的转变。即使更丰富的形式语言或更丰富的公理集可以证明一些以前无法证明的真理，但没有一组满足哥德尔对可判定性和一致性要求的有限公理可以证明在任何足够强大的形式系统中可表达的所有真理。从这个意义上说，哥德尔设定了一个界限——不仅是机器可以证明什么，而且是它们可以从给定的伦理或逻辑架构中证明什么。

当人工智能做出看似道德缺陷的决定时，它可能会促使我们重新审视自己的判断

人工智能的一大希望或恐惧是，它有一天可能会超越最初编程到它的道德原则，并模拟这种自我质疑。通过机器学习，人工智能可以修改自己的道德框架，产生新的道德见解，并揭示受认知偏差和计算限制的人类思想者可能忽视的模式和解决方案。然而，这种适应性带来了一个深刻的风险：人工智能不断发展的道德可能会与人类伦理发生如此根本的分歧，以至于它的决定对我们来说变得难以理解，甚至在道德上令人厌恶。这反映了某些宗教伦理观念。在一些神学传统中，神圣道德被认为远远超出了人类的理解范围，以至于它可能显得武断甚至残酷，这是邪恶和神圣命令理论问题辩论的核心主题。人工智能伦理也出现了类似的挑战：随着人工智能系统变得越来越自主和自我修改，它们的道德决定可能会变得如此不透明和脱离人类推理，以至于它们有可能被视为不可预测、难以捉摸甚至不公正。

然而，虽然人工智能可能永远无法完全掌握道德推理，但它可能成为完善人类道德思想的有力工具。与通常由偏见、直觉或未经审查的假设影响的人类决策不同，人工智能有可能通过以形式公正的方式处理类似案件来揭露我们道德推理中的不一致之处。然而，这种潜力取决于人工智能识别案例在道德上何时相似的能力，而人工智能系统，尤其是法学硕士，可能会内化和重现它们旨在减轻的人类偏见，这一事实使这项任务变得复杂。当人工智能做出看似道德缺陷的决定时，它可能会促使我们重新审视自己判断背后的原则。我们是出于良好的道德原因来区分案件，还是在没有意识到的情况下应用双重标准？人工智能可以帮助挑战和完善我们的道德推理，不是通过提供最终答案，而是通过揭示我们道德框架中的差距、矛盾和被忽视的假设。

人工智能可能至少以两种方式偏离人类的道德直觉：以不同的方式处理我们认为相似的案例，或者以相同的方式处理我们认为不同的案例。在这两种情况下，潜在的问题是人工智能是否正确识别了道德上相关的区别或相似性，或者它是否只是在其训练数据中反映了不相关的模式。在某些情况下，这种差异可能源于人类根深蒂固的偏见，例如基于种族、性别或社会经济地位的歧视模式。但在其他情况下，人工智能可能会发现人类判断历来遗漏的具有道德意义的特征。例如，它可以发现手推车问题的新变体，表明两种看似相同的危害在道德上很重要。在这种情况下，人工智能可能会先于人类哲学家检测到新的伦理模式。挑战在于，我们无法提前知道我们面临的是哪种偏离。人工智能的每一个令人惊讶的道德判断都必须按照自己的条件进行评估——既不能不加批判地接受，也不能立即被驳回。然而，即使这种对新颖见解的开放态度也无法将人工智能从形式推理的结构界限中解放出来。

这是更深层次的教训。哥德尔定理不仅仅是表明存在机器无法证明的真理。它们表明，道德推理和数学一样，总是开放式的，总是超出形式上可以得出的范围。那么，挑战不仅在于如何将道德推理编码到人工智能中，还在于如何确保其不断发展的道德框架与人类价值观和社会规范保持一致。尽管人工智能的速度、精度和计算能力如此之快，但它仍然无法做到使道德推理真正成为可能的一件事：不仅能够质疑什么是正确的，而且质疑为什么。因此，伦理必须仍然是人类的努力，是一场持续的、不完美的斗争，任何机器都无法完全掌握。

了解更多时间深度剖析，尽在于此@黄先生斜杠青年

商业咨询和顾问业务，请@yellowscholar

关注我，带你先看到未来！♥