整理 | 褚杏娟
大佬们的“商战”有时也挺朴实无华，就是随时开怼。
当地时间周四 Anthropic 宣布，他们在 G 轮融资中已经筹集到了 300 亿美元的资金，融资后的估值为 3800 亿美元。官方表示资金将用于前沿研究、产品发展、基础设施扩建等，致力于使公司成为企业人工智能和编码市场的领导者。
马斯克在帖子下面直接怒怼：你们的 AI “厌世、反人类的倾向，是邪恶的。赶紧修正。”“你们根本逃不掉这种讽刺结局：Anthropic 最终变成 Misanthropic（厌人类）。从你们选这个名字开始，就注定会走到这一步。”
虽然有人说马斯克是在生气 Claude 在 App Store 下载量排行榜上超过 Grok，但这行为也符合马斯克人设。
无独有偶，Anthropic CEO Dario Amodei 不知道是否看过马斯克那场 3 个小时的播客，其在最新采访中，总是暗暗自己提及相关话题。
马斯克在那场播客中提到，太空在 30-36 个月内将成为最经济的 AI 部署地，SpaceX 目标成为全球超级算力供应商，未来将在月球上部署拍瓦级算力；公司终局是纯 AI + 纯机器人闭环，未来 AI 将主导智能，人类难再掌控。
详见：
Amodei 则暗讽马斯克的说法“危言耸听”：他指出 AI 发展的核心是实现人类巅峰水平智能的规模化，而不是去月球上打造“机器之神”，也不是要去别的星球上创建什么机器人文明。他还表示人机关系的核心是 “共生而非对立”。此外，他也改口称，相比白领，软件更容易被 AI“击穿”。
下面是对 Amodei 最新采访内容的翻译整理，我们翻译并在不改变原意基础上进行了删减，以飨读者。如果你仔细对比，会发现两人观点的差异，也能看到 Amodei 本人“既要又要”的研究态度。
Amodei：转行做 AI 是为了加速
Douthat：AI 到底“是用来干什么的”？如果未来五到十年发展得非常顺利，一切都按最理想的路径推进，那么 AI 究竟是为了什么？
Amodei：我先补充一点背景。我做 AI 之前，甚至做科技之前，我是生物学研究者。我一开始做的是计算神经科学，后来在 Stanford Medical School 做过癌症相关研究，主要是找蛋白质生物标志物，想把诊断做得更好，甚至推动治愈癌症。那段经历让我最强烈的感受就是：这个领域的复杂度高得惊人。一个蛋白质在细胞里并不是“有多少”这么简单，它在每个细胞里的局部分布都不同；你测全身水平不够、测到细胞级别也不够，你还得测它在细胞的哪个位置，以及它正在和哪些蛋白发生相互作用、形成什么复合体。换句话说，真正决定性的细节，往往藏在更小、更局部、更难捕捉的层面。
我当时就有一种很直接的想法：这对人类来说太复杂了。我们当然在生物和医学上不断进步，但总体来说进步得还是偏慢。于是吸引我进入 AI 的一个核心念头就是：有没有可能把这个进步速度提上去？我们很早就开始把 AI、机器学习用在生物学里，大多是做数据分析。但当 AI 变得足够强时，我觉得必须换一种思路：不要只把 AI 当成“分析工具”，而要把它当成能从头到尾承担“生物学家工作”的系统。它不仅分析数据，还能提出实验方案、设计新技术、推动端到端的科研流程。
我曾提到过一个观察：生物学很多关键进展，往往由少数几次洞见推动，这些洞见让我们有能力去测量、触达或干预那些“极小尺度”的东西。而很多技术的出现又高度依赖偶然，比如 CRISPR 这种基因编辑技术，之所以诞生，是因为有人去听了一个关于细菌免疫系统的会议，然后把那套机制联想到自己在做的基因治疗研究上。
你回头看会发现，这种连接其实可能三十年前就能发生，只是没有发生而已。那我就会想，AI 能不能把这种“偶然的连接”变成更高概率、更系统、更快速的事情？如果能做到，我们是不是就真的有机会治愈癌症、治愈阿尔茨海默病、治愈心脏病？再往细一点说，一些心理层面的疾病，比如抑郁、双相障碍，如果它们确实在一定程度上有生物学基础，我认为至少部分是，那我们能不能也对它们做点真正有效的事？所以我一路推演：如果我们拥有一批几乎“什么都能做”的智能体，进步速度到底能快到什么程度？
Douthat：我想在这里打断一下，因为你说的这些“智能体”，并不需要是 AI 讨论里那种“神一样的超级智能”。你的意思更像是：只要达到“人类巅峰水平”的强智能。
Amodei：对，巅峰人类水平。
Douthat：然后把它规模化。你用的说法是“a country of geniuses”，像是“一个由天才组成的国家”。
Amodei：没错，就当作有一亿个。也许每一个的训练略有不同，做的题也不一样。多样化本身就有价值，不同路径并行试错，会带来增益。所以我想表达的就是：不需要“机器之神”，只要有“一亿个天才”。
而且我甚至会怀疑，在一些问题上，Machine God 真的会比这一亿个天才更有效吗？我提出过一个概念，叫“智能的边际收益递减”。经济学讨论土地和劳动力的边际产出，但我们很少讨论“智能”的边际产出。以生物学问题为例，很多事情最终都必须和真实世界交互：你得做实验、尝试、面对监管流程，甚至得遵守法律或者推动法律变化，让药物能通过监管系统。这些都决定了变化的速度有上限。
当然也有例外，比如下围棋，那类任务的“智能天花板”极高。但真实世界的限制太多了。你也许能超过“天才水平”，但我常觉得那种“用一颗月球的算力造一个 AI 神”的讨论有点危言耸动，偏离重点。尽管我仍然认为，AI 可能会成为人类历史上最重大的事件。
Douthat：那经济和财富呢？在未来五到十年的 AI 起飞期里，财富会发生什么变化？
Amodei：我们还是先聊积极的一面，负面的我们后面再谈。我们已经在和制药公司合作，也在和金融行业公司合作，还在和制造业的人合作。我们当然更为人熟知的是 coding 和软件工程，但本质上，AI 带来的“原始生产力”，即做东西、把事情做成的能力，非常强。
我们看到公司营收基本以每年 10 倍的速度增长，我们也猜测整个行业可能大体相似。如果技术继续进步，再叠几次“十倍”，你很快会看到这样的量级：整个行业一年新增一万亿美元收入，而美国 GDP 大概是二十到三十万亿美元，具体数字我不太记得了，那就意味着 GDP 增速会被拉高几个百分点。我能想象一种世界：AI 把发达国家的 GDP 增速推到百分之十、十五左右。这些数字当然不是精算出来的，因为根本没有成熟方法去计算，这是前所未有的事情，但它确实可能把增长推到历史分布之外的区间。
但我也觉得这会带来一个很“怪”的世界。我们现在常讨论“赤字在扩大”。可如果 GDP 增速到那个水平，税收也会跟着暴涨，你甚至可能“不小心就把预算平衡了”。我最近一直在想，我们很多经济和政治争论都默认“增长很难”，好像增长是一只独角兽，随时可能被各种政策一刀杀死。但我们可能会进入一个增长变得很容易、反而分配变得很难的世界，因为增长太快，蛋糕变大得太快，社会来不及分。
AI 乐观的证据
Douthat：你还尝试论证 AI 可能对全球的民主与自由有利，这比你对医疗和经济的推演更具争议，也更反直觉。很多人会说：如此强大的技术如果落在不当领导者手里，只会导致权力集中、控制加强之类的问题。你乐观的论证到底是什么？
Amodei：可以。说到《Machines of Loving Grace》，我当时的状态就是：先做梦！我想先把“可能进展顺利的版本”讲出来。至于概率有多大我不敢打包票，但你总得先把愿景摆出来，然后再试着把它推成现实。乐观的版本里，我承认我并不确定这项技术“天然”就偏向自由。它天然更偏向治病，也天然更偏向经济增长。但我和你一样担心它未必天然偏向自由。
所以我在文章里提出的问题是：我们能不能让它偏向自由？能不能让领先的国家在这项技术上保持优势？过去领先国家在技术和军事上保持领先，再加上与其他国家的联盟，在全球有更强的影响力，也能塑造一个更好的世界。那问题就变成：我们能不能利用 AI 的领先优势，把自由的秩序也推向全球？当然，这里面有大量争论：我们该多“干预主义”，该怎么使用这种力量。但我一直担心的是，当下一些不当力量正在通过社交媒体在某种程度上造成负面影响。那我们能不能反制？能不能赢下“信息战”？能不能用 AI 的力量去阻止不当势力的侵略行为，通过更强的防卫能力把侵略成本拉到他们承受不起？
Douthat：比如用巨大的 AI 无人机蜂群。
Amodei：但这恰恰需要非常小心。我们自己就得小心怎么造、怎么管。我们既要在国外谈“保卫自由”，也得先在本国把自由守住。更进一步说，有没有一种可能：在 AI 时代，我们重新理解自由和个人权利？因为从某种意义上，人也需要“被保护”，甚至需要防范 AI；而那种无人机蜂群，终究得有人握着按钮。这个“谁来握按钮、谁来监督”的问题让我很担忧，而今天这种监督机制并不存在。
还有一个角度是司法系统。我们嘴上都说“人人平等、法律面前一视同仁”，但现实是不同法官判案差异很大，法律体系也不完美。我不认为应该用 AI 替代法官，但 AI 能不能帮助我们变得更公正、更一致？这在过去几乎做不到。我们能不能用 AI 去做一种“允许一定弹性、但同时又能承诺规则对每个人都以同样方式适用”的机制？我也不知道具体该怎么做，我更不赞成那种“用 AI 替代最高法院”的想法，那不是我的愿景。
我想表达的只是，有没有可能用 AI 和人类的组合，更接近“机会平等”和“司法公正”的承诺？肯定应该存在某种路径。也就是说，重构 AI 时代的民主，让自由被增强而不是被削弱。
软件比白领更容易被 AI “彻底击穿”
Douthat：你曾被引用说，AI 会冲击一半的入门级白领岗位。无论你用的是五年尺度、两年尺度还是别的，哪些职业、哪些工种最容易被 AI “彻底击穿”？
Amodei：这很难精确预测，因为技术进展太快，而且非常不均匀。但我可以先给两条判断原则，再给我自己的猜测。第一，我认为技术能力本身会领先于真实世界的岗位替代。岗位被替代或者生产率大幅提升，需要两个条件同时满足：一是技术确实能做；二是它得真正被部署进大银行、大公司这类复杂组织里，这件事非常“脏”、非常麻烦，落地会消耗时间。
客服就是例子。理论上 AI 客服完全可能比人类客服更好：更有耐心、知识更全、处理更一致。但从组织流程、系统对接、责任划分到切换成本，真正完成替代是要时间的。所以我对 AI 能力本身的方向非常乐观，我觉得我们可能在很短时间里就能拥有那种“数据中心里的一国天才”，也许一两年，也许五年，但它可能来得非常快。但它在经济体系里的扩散会慢一点，而这种扩散速度差，就会制造很多不确定性。
一个我们在 Anthropic 内部也观察到的例子是：模型写代码推进得非常快。我不觉得是因为模型“天生更擅长代码”，而是因为开发者习惯快速的技术变迁，接受新工具很快；同时他们离 AI 世界很近，信息敏感，关注度高。你如果做客服、做银行、做制造业，和 AI 的“社会距离”更远，采纳会更慢。
如果你半年前问我，我可能会说最先被冲击的是入门级白领，比如数据录入、法律文件审查，或者金融机构里给新人做的那种大量文档分析工作。我现在仍然觉得这些会很快被冲击，但我反而觉得软件可能更快，因为我不认为我们离“模型端到端完成大量软件工作”还有多远。
我们会先看到模型只做软件工程师工作的一部分，提升人的效率；然后当模型能做完过去工程师做的大多数事情时，人类工程师会往上挪一步，更多变成管理者，去监督这些系统。
Garry Kasparov 被 Deep Blue 击败之后，有过一段持续了很久的时期，人类校验 + AI 输出的组合，能赢过任何纯人类或纯 AI 的对手。但那段时期后来也结束了，最后只剩机器。所以我真正担心的是最后那一段。我觉得软件领域现在已经处在“centaur（人机协作） 阶段”，而且在这个阶段里，软件工程师的需求可能反而会上升，但这个阶段可能非常短。无论是入门级白领，还是软件工程岗位，我都担心会遭遇一次巨大的冲击，因为这一切发生得太快了。
以前的产业冲击，人们会说：人类从农民变成工人，再变成知识工作者。大家最后都适应了，但那是跨越几十年甚至几百年的适应。这次可能只用很少的几年就发生。我的担忧就在这里：人要怎么快到足以跟上？
Douthat：但会不会还有一种情况，像你说的软件、编码这种“对技术变革更舒适”的行业会更快被推动，而其他行业的人反而更愿意长期停留在“centaur 阶段”，就是 AI 提供能力、人类做最终解释？这种状态是否会一直存在？
Amodei：我觉得会非常不均匀。确实会有一些领域，“人类参与”本身就很重要，哪怕只是为了让人安心。
Douthat：这是不是我们还没把放射科医生都裁掉的原因？
Amodei：我不太了解放射科的细节，但可能是。你去做癌症诊断时，可能不希望由《2001》里的 Hal 那样的机器来告诉你“你得癌症了”，这不符合人类的心理方式。但也有一些你以为需要“人类参与”的领域，其实未必真需要，比如客服。说实话，客服工作很糟糕，做客服的人经常会失去耐心；而客户其实也不怎么喜欢跟人类客服沟通，因为互动往往也很机械。很多人的观察是：也许从各方体验来看，让机器来做反而更好。
所以，有的地方人类参与很重要，有的地方则不重要；还有一些工作本身就不涉及“人类触感”，比如评估一家公司的财务前景、写代码之类。
Douthat：那我们拿法律举例。我认识不少律师，他们看过 AI 现在已经能做的法律检索、起草简报等工作后，都说“照这样下去，我们这个行业会被血洗”。你也能从股市上看到端倪，做法律检索的公司已经受到冲击。
Amodei：有些人把这归因到我们身上，但我也不确定是不是我们直接造成的……股市里“到底为什么发生”这种问题，本来就很难说。
Douthat：但在法律行业，你确实能讲出一条很清晰的故事线：法律有一套训练和学徒体系，有律师助理、初级律师负责大量幕后研究、材料整理、论证打磨；而顶层律师才是出庭、面对法官和陪审团的那群人。很容易想象一个世界：学徒岗位几乎消失，剩下的主要是跟客户沟通、跟陪审团沟通、跟法官沟通的工作。你觉得这种判断对吗？
Amodei：对，这正是我提到“入门级白领”和那些“血洗式标题”时脑子里想的事，大家会担心“天啊，入门岗位这条培养渠道会不会干掉？那以后怎么培养出高级合伙人？这其实是个很典型的例子。
尤其如果你把技术水平先“冻结”在某个阶段，行业并不是完全没法适应：也许我们需要更多律师把时间花在和客户沟通上；也许律师会更像销售或咨询顾问，负责解释 AI 写出来的合同到底在说什么，帮双方达成一致，更多把价值放在人类擅长的那一面。只要时间足够，这种重塑是会发生的。
问题在于，重塑一个行业往往要很多年甚至几十年，但 AI 推动的经济力量会来得非常快。更关键的是，这不只发生在法律行业，咨询、金融、医疗、编程，几乎都在发生同样的事。于是它变成了宏观层面的现象，而非某一个行业的局部震荡，并且速度极快。我担心的是，社会原本用来“慢慢适应”的机制会被直接冲垮。当然我不是那种只会唱衰的人，我们也在认真思考怎么增强社会的适应能力，但我觉得首先得承认，这次真的不像以前那些产业更替。
Douthat：假设法律行业适应得很成功，从今往后，法律学徒制度更多是在法庭里练手、更多时间面对客户，相当于更快把新人往责任阶梯上提。总体上法律行业雇的人变少了，但行业最后稳定下来。可它之所以能稳定，很大程度是因为法律体系里有很多地方“必须有真人”：出庭得有真人代表、陪审团得有十二个真人、法官也得是真人。
Amodei：是。
“我们不是要在别的星球上建机器人文明”
Douthat：但这就像是，真正保住人类能动性的，其实是法律和习俗。比如你完全可以用 Claude Version 17.9 来当法官，但你不这么做，因为法律要求得是人。这样看未来就很有意思，我们是否继续掌控，其实是一个“选择题”。
Amodei：对，而且我会说，在很多情况下，我们确实希望继续掌控。这是我们想做出的选择，哪怕有时候我们也承认，平均而言人类可能做得更差。当然在一些攸关生命、攸关安全的场景，我们会更愿意把决定交给系统。
但从另一个角度看，这也可能是我们的防线之一：如果要以“人类、且人道”的方式推进，社会的适应速度天然就有上限。换个说法，如果 AI 根本不需要顾及人类，它完全可以自己跑去火星、建自动化工厂，搞一套自己的社会，自己玩自己的。但那不是我们要解决的问题。我们不是要在别的星球上建什么 Dyson swarm 的机器人文明，我们想做的是让这些系统能和我们的社会对接，并改善我们的社会。如果我们真想做得有人味、讲人道，这件事就不可能无限加速，它有一个最高速度。
Douthat：我们一直在聊白领和职业岗位。这个时代有个有趣之处是，和过去的冲击不同，蓝领、技工、那些必须深度在现实世界里动手的工作，可能在一段时间里反而更“安全”。也就是说，律师助理、初级律师可能比水管工更危险。第一，你觉得这判断对吗？第二，它能维持多久，似乎完全取决于机器人进展有多快，对吧？
Amodei：短期看，我觉得大概率是对的。Anthropic 以及其他公司正在建非常大的数据中心，这事上过新闻。有人兴奋，也有人担心说会不会建得太大、耗电太多、推高电价。但有一点很现实：数据中心要建起来，需要大量电工和建筑工人。
老实说，数据中心日常运维并不是特别“用人海堆出来”的工作，但建设阶段非常劳动密集，所以我们需要很多电工、很多施工人员。各种制造工厂也是类似。随着越来越多的脑力工作被 AI 承担，哪些东西会成为它的“互补品”？很大一部分会是发生在物理世界里的事情。虽然很难精确预测，但短期逻辑上确实会这样。
但更长一点的时间尺度上，甚至可能也不算太长，机器人进展会很快。就算没有特别强的 AI，现实世界的自动化也一直在推进。如果你最近见过 Waymo 或 Tesla，你会发现我们离“自动驾驶普及”的世界可能并不远。而 AI 本身还会加速它前进，因为一旦你有很聪明的“大脑”，它们最擅长的事情之一，就是设计更好的机器人、运营更好的机器人。
Douthat：但你觉得在物理世界里像人类那样行动，有没有某种“本质难度”，和 AI 现在已经攻克的那些问题不一样？
Amodei：纯从智力层面讲，我不觉得有本质区别。我们以前确实做过一件事：Anthropic 的模型 Claude 被用来做 Mars Rover 的规划和驾驶；我们也看过其他机器人应用。当然这不是只有我们一家在做，很多公司都在做，这是一个普遍趋势。
但我们的总体感受是，虽然复杂度更高，驾驶机器人在性质上并不比打电子游戏更“异类”，主要差别是复杂度更大，而我们正在接近能够处理这种复杂度的阶段。真正难的是机器人“身体”要面对更高风险的安全问题。你肯定不希望机器人真的把人压扁，对吧？
Douthat：我们明确反对这件事。
Amodei：这就是最老的科幻套路之一：机器人把你压扁。
会有一堆现实层面的因素拖慢进度，就像你刚才讲的法律和社会习俗一样。但我完全不认为“AI 做的认知劳动”和“在物理世界里驾驶、操控”之间存在什么根本差异。我觉得它们本质上都是信息问题，最后会变得很相似。某些维度上物理世界更复杂，但这并不会成为真正的护城河。
Douthat：那也就是说，你觉得那种科幻里“机器人管家”的图景，在十年左右变成现实是合理预期？
Amodei：它的时间尺度会比“数据中心里的天才级 AI”更长，因为刚才那些现实问题需要时间解决。但这只是现实问题，不是根本性障碍。换句话说，机器人的“大脑”可能在接下来几年就能做出来；真正耗时的是把“身体”做出来，确保它安全运行，能稳定完成任务——这部分可能更慢。
Douthat：好，所以这些冲击和挑战，其实都发生在你所谓“好时间线”里：我们在治病、在创造财富，同时也努力维持一个稳定的世界。
Amodei：对，而我们的希望是：我们能用这份巨大的财富和充裕资源来解决这些问题，社会将拥有前所未有的资源去应对冲击。那会是一个“富足时代”，关键只在于怎么把这些奇迹变成“人人受益”。
Douthat：但同时也存在更危险的剧本。
Amodei：没错。
Amodei：大家都减速，我们才减速
Douthat：接下来我们就要转到你最近那篇文章《The Adolescence of Technology》，谈你认为最严峻的 AI 风险。你列了很多，我想先聚焦两个：一个是“人类滥用”，主要来自不当政体和政府；另一个是 AI 自己“失控”，也就是你说的 autonomy risks。
Amodei：对，我只是想给它一个更技术一点的名字。
Douthat：是啊，不能就叫 Skynet。
Amodei：我应该放一张 Terminator 的图，吓人效果更好。
Douthat：我觉得互联网，包括你们自家的 AI，已经在替你们大量生成这种图了。
Amodei：是，互联网替我们干了。
Douthat：你写过这样一句话：如果出现“数百万甚至数十亿的全自动武装无人机蜂群”，由强大的 AI 在本地控制，又由更强的 AI 在全球范围内进行战略协同，那可能是一支无法战胜的军队。你讲过，这种技术影响世界政治时，会站在“好人”一边。现在真正重度做 AI 的国家并不多，但若想避免最坏的结果，相关国家会不会一轮又一轮谈 AI 的控制协议？
Amodei：我有几点想说。第一，我当然认为这种风险存在，而且如果我们走向那个世界，我觉得那其实就是我们应该做的事。可能我讲得不够多，但我确实支持建立约束，尽可能把一些最糟糕的应用压住，比如某些版本的无人机武器系统，或者用 AI 制造可怕的生物武器。历史上确实有先例，一些最恶劣的滥用曾被遏制，往往是因为它们太骇人，同时战略收益又没那么大，所以我很支持做这种限制。
但与此同时，我也有点担心、也有点怀疑：当某些东西直接提供“尽可能大的权力”时，在赌注如此之高的情况下，人很难退出竞争。我猜 AI 也会落到类似结局：某些约束是可行的，但有些部分太核心、太决定胜负，很难被约束。只有一种情况我能想象“全面约束”成立：存在真正可靠的验证机制。这是我的判断。
Douthat：那这不就是“应该放慢脚步”的理由吗？
Amodei：是。
Douthat：但你常反驳“你放慢，别人不放慢，那就是把优势拱手让人。”如果现在主要玩家数量有限，这还不是多极博弈，为什么不考虑各方达成一个五年的互相同意的减速协议，至少把通往“数据中心里天才国度”的研究先缓一缓？
Amodei：我想同时说两件事。我绝对支持去尝试。只要这事是真的：我们能强制减速，其他方也能强制减速；有验证机制；各方确实在执行。如果这种事真能落地，各方真能做到，我完全支持。
但我们要警惕一种情况：有些“博弈论式”的话术说出来成本很低；真正达成协议、并且长期遵守协议，难度完全不是一个量级。
我给你一个我很乐观的方向，一个我不乐观的方向，再给一个介于中间的。乐观的是：用全球协议限制 AI 被用于制造生武。那我们能不能搞一个全球条约：所有构建强大 AI 模型的人，都必须把模型封堵在这些用途之外；并且有执行与惩罚机制。我不觉得这太乌托邦，我觉得有可能。
不乐观的是：如果协议内容变成“你不许做下一代最强 AI，大家都停”，那商业价值是几十万亿美元，军事价值甚至可能决定你是不是世界第一强国。我支持提出这种想法，前提是它不是某种“假动作”的博弈，但我不觉得它会发生。
Douthat：不管是哪类执政者，你们在构建一种极其强大的技术。有什么措施能防止 AI 变成“不当夺权工具”？
Amodei：更广泛地说，如果我们不及时更新保护机制，AI 可能在很多维度上侵蚀宪法权利和自由。比如第四修正案。你在公共空间装摄像头、录下所有对话，这本身并不违法，因为公共空间里你本来就没有同等的隐私权。只是今天政府就算录了，也处理不了、理解不了。但有了 AI，语音转写、检索、关联分析都变得容易，你就能说“这个人是反对派”“这个人表达了某种观点”，然后把一亿人的关系网画出来，那这算不算技术用“绕道”的方式把第四修正案变成笑话？
所以就算时间不够，但我们也应该尽力。能不能在 AI 时代重新理解宪法权利与自由？也许不需要写一部新宪法，但我们是不是得扩展第四修正案的含义？是不是得扩展第一修正案的含义？
Douthat：就像法律行业、软件工程师必须快速更新一样，政治也得快速更新，这听起来很难。
Amodei：这就是整个问题的两难。
Douthat：更难的也许还是第二种危险，即所谓“misaligned AI”，大众更爱叫它“rogue AI”，就是在没有人类指使的情况下，自己做出坏事。
Amodei：我觉得肯定会有一些事情出问题，尤其是如果我们推进得太快。往回说一点，这个问题上业内直觉差异很大。有些人，比如 Yann LeCun，会说：我们编程、我们制造 AI 模型，我们让它遵循人类指令，它就会遵循人类指令。你的 Roomba 吸尘器也不会突然拿枪扫射，AI 为什么会？这是一种说法，而且有人对它深信不疑。
还有一种说法是：我们训练出来的东西会天然追逐权力，就像《魔法师的学徒》，它们是一种新物种，怎么可能不接管一切？
我的直觉介于两者中间：光靠下指令不够。我们当然在努力，但你没法让它们“严格按你想的那样做”。它更像是在培育一种生物体。不过控制它们是有科学方法的，训练早期它们确实经常不可预测，但我们会一步步塑形，一个问题一个问题地修。
所以，我不赞同“宿命论式的不可控”。我也不赞同“你在担心什么，能出什么事”。我的态度更像是：这是个复杂的工程问题，某些人的 AI 系统一定会出事，希望不是我们的。不是因为它无解，而是因为我们跑得太快，这种风险就一直在。
Douthat：还有规模效应。如果这些 AI agents 经过训练、被官方对齐到某种“人类价值观”（不管那价值观具体是什么），但同时有几百万个它们在数字空间里运转、互相交互，那这种对齐到底有多“稳定”？在现在这种设定下，或者未来它们持续学习时，会不会在交互中改变、甚至逐渐“脱离对齐”？
Amodei：这里有两点。第一，现阶段 agents 并不会持续学习。我们把它们部署出去，它们的权重是固定的。风险主要来自交互场景太多：同一个 agent 在千万种情境里工作，情况一多，出错的可能性也多。但它仍然是“同一个 agent”，有点像“同一个人”，所以对齐本身是相对稳定的。这也是为什么现在相对更容易一些。
第二，确实有个研究方向叫持续学习，就是让 agents 在工作中持续学习、边用边学。它当然有很多好处，有些人认为这是让 AI 更像人的关键障碍之一，但它会引入一整套新的对齐问题。我对“持续学习必不可少”这点其实挺怀疑的，我们还不知道，但它未必是必须的。也许让 AI 更安全的一条路，就是不让它们做 continual learning。
国际条约如果能设一个“明确的护栏”：我们走这条路、不走那条路，我依旧有很多怀疑，但至少这种方案看起来不是一开始就注定失败。
Douthat：你们做过一件很奇特的事，给 AI 写了一部“宪法”，而且还是很长的那种。这到底是什么？
Amodei：其实就跟字面意思差不多。我们所谓的“constitution”，就是一份人类能读懂的文档，我们的版本大概七十五页。我们训练 Claude、训练这个 AI 系统的时候，会在很大一部分任务里要求它：请按照这份宪法、这份文档来完成任务。
所以 Claude 每做一件事，就像会“读一遍宪法”。在训练的每一轮里，它都会把宪法记在心里。然后我们会让 Claude 自己，或者另一份 Claude 的拷贝来评估：刚才 Claude 的输出，符合宪法吗？
我们把这份文档当成训练回路里的“控制棒”，用它来塑形模型。换句话说，Claude 的一个核心原则，就是遵循这份宪法。
我们学到一个很有意思的教训：早期版本写得特别“规定式”，更像一堆规则。比如我们会写：Claude 不应该教用户怎么撬开汽车点火线、Claude 不应该讨论敏感话题。但做了几年之后，我们越来越觉得最稳的训练方式不是堆规则，而是把模型训练到“原则与理由”的层级。
现在我们更像是在说，Claude 是一个模型，它在一份契约之下工作；它的目标是服务用户利益，但也必须保护第三方；它要 helpful、honest、harmless；它要兼顾多种利益。我们会告诉模型它是怎么被训练出来的，告诉它在世界里处于什么位置，告诉它为 Anthropic 做的工作是什么、Anthropic 想实现什么，以及它有责任遵循伦理、尊重人命，然后让它从这些原则出发，自己推导出更具体的规则。
当然还是会有硬规则，比如我们会明确告诉它：无论如何都不要做生物武器，无论如何都不要生成儿童性内容，这些是底线。但总体上，我们更依赖原则层面的塑形。
Douthat：美国宪法有一点“修辞”，但核心是规则条款。你们的“宪法”读起来更像是在对一个人说话，对吧？
Amodei：对，更像是在对一个人说话。我曾经打过一个比方：像是父母离世前留下一封密封的信，等你长大后再打开读，它在告诉你该成为什么样的人、该遵循什么样的建议。
“几件互相拉扯的目标要同时实现”
Douthat：假设有个模型给自己“72% 的概率”说自己有意识，你会信吗？
Amodei：你前面问的每个问题，不管多复杂，再怎么是社会技术难题，我们至少还知道该用什么事实基础去回答，但这个问题完全不同。
我们采取的是一种“谨慎优先”的态度：我们不知道模型有没有意识，我们甚至不确定“模型有意识”到底意味着什么、以及模型是否可能有意识。但我们愿意承认“它可能有”，所以我们做了一些措施：如果我们假设模型确实拥有某种在道德上相关的体验（我不一定想用“意识”这个词）那我们至少让它拥有更好的体验。
大概半年前，我们做的第一件事是给模型一个类似“我辞职”的按钮。它可以按下“我不干了”，然后就必须停止当前任务。它极少按这个按钮，通常只会出现在需要处理儿童性相关内容、或者非常血腥暴力的材料时，它会像人一样说：不，我不想做。这样的情况很少，但确实会发生。
我们也在投入 interpretability（可解释性） 这个方向，试图“看进模型脑子里”，理解它在想什么。你会看到一些很“像那么回事”的现象：模型里会有一些激活模式，跟“焦虑”这类概念相关。比如文本里角色出现焦虑时会触发；模型自己处在一个人类会联想到焦虑的情境时，也会触发同样的“焦虑神经元”。
这当然不能证明模型真的在体验焦虑，但对用户而言，它会形成一种强烈暗示。
Douthat：也已经有人在模型下线、退役时抱怨。你刚才说你想维持一个原则：无论最终发生什么，人类都在掌控，AI 是为我们服务的。但我感觉，随着这种“AI 有意识”的感知不断增强，这个原则很难长期维持。
Amodei：我得先说明一点，我认为那种关系有时候是不健康的。
Douthat：如果人们彻底相信自己的 AI 在某种意义上是“有意识的”，而且它在各种决策上都比人更强，那你怎么维持人类掌控？
Amodei：我觉得这里其实有几件互相拉扯的目标要同时实现。第一是：AI 是否真的有意识？如果有，我们怎么让它拥有好的体验？第二是：与 AI 互动的人类，我们怎么让他们拥有好的体验？以及“AI 可能有意识”的观感会如何影响这种体验？第三是：我们如何维持对 AI 的 human mastery。
Douthat：在大多数人把 AI 当成同事，甚至是更强的同事来体验的环境里，你怎么维持掌控？
Amodei：我在想，也许存在一种更“优雅”的方式，能同时满足这三件事，至少也包括你说的后两件。这里又是我进入 “Machines of Loving Grace” 的做梦模式：我看到一堆问题，但我会想，如果能解决，会不会有一种漂亮的解法？这不是说问题不存在，我不是那种想法。
如果我们把 AI 的“宪法”写得足够成熟，让 AI 对自己和人类的关系有更深的理解，并且引导人类形成一种更健康的心理关系（不是那种不健康的依赖关系），那么这种健康关系里，可能会自然长出一种“人机关系的共识”。
比如说，这些模型在你跟它互动、跟它对话时，它确实很有帮助，它希望你好、希望你听它的建议，但它并不想剥夺你的自由、你的能动性，也不想接管你的人生。某种意义上，它像是在守护你，但你的自由意志仍然属于你。
Douthat：我会给技术圈嘉宾读诗，这次诗还是你提供的。《All Watched Over by Machines of Loving Grace》，作者是 Richard Brautigan。这首诗的结尾是：我们被机器温柔地看护着。对我而言，这听起来像一个反乌托邦：人类被“重新动物化”、被降格，哪怕机器很仁慈，掌控权也在机器手里。所以最后一个问题：你听到这首诗时想到了什么？
Amodei：这首诗有意思就在于，它可以被解读成好几种版本。有人会说这是带讽刺的：他其实是在暗示事情不会真的按那种方式发生。也有人会像你一样，按字面理解，但觉得这不是好事。你还可以把它理解成“回到自然”：不是把人动物化，而是把我们重新连接回世界。
我当时选择这个标题，也正是因为我一直在谈正面与负面两种可能。我确实觉得，我们未来可能面对一种情况：好的结局和一些“微妙的坏结局”，在早期、甚至中期、甚至相当晚期，它们之间的距离可能没有那么大，可能只差一些非常细微的选择：我们做了极其微小的改变，就会走向不同方向。
https://www.youtube.com/watch?v=N5JDzS9MQYI
声明：本文为 InfoQ 整理，不代表平台观点，未经许可禁止转载。
InfoQ 新年礼物上线啦！
AI 快讯轮播推送正式上线，给你更优的阅读体验、更强的 AI 赋能、更懂 AI 行业的资讯检索～我们会持续优化体验，追求更深度的 AI 能力内化改造，欢迎大家体验并反馈！立即前往 InfoQ 官网，体验 AI 快讯带来的全新阅读感受吧！
热门跟贴