本文经中信出版集团授权摘自《科技共和国》，作者为 Palantir 联合创始人兼 CEO Alexander Karp 及高管 Nicholas Zamiska。
责编 | Echo
出品 | CSDN（ID：CSDNnews）
1942 年，J. 罗伯特·奥本海默受命领导曼哈顿计划中研发核武器的军事项目——“Y 计划”。在新墨西哥州的一个偏远的实验室里，这位画家与纺织品进口商之子与他的同事们致力于铀提纯技术的秘密研究，并最终设计和制造出可用于实战的原子弹。他后来成为一位极具象征意义的公众人物，因为他既彰显了美国世纪与现代性本身的原始力量，也昭示出科学使命与国家事业融合的潜能，以及随之而来的风险乃至破坏性。
依据 1949 年 10 月《生活》杂志关于他的一篇报道，对奥本海默而言，原子武器不过是“一件小玩意儿”，这只是他对基础科学的更深层次追求与兴趣的一种体现和产物。正是对自由学术探索的坚持以及战时对人力与资源的集中投入，才造就了原子弹这一最具时代影响力的终极武器，并在接下来的至少半个世纪深刻影响了国家间的关系。
1904 年生于纽约的奥本海默，高中时便对化学情有独钟。他后来回忆说，化学“直接触及事物的核心”，而且对年少的他而言，化学不同于理论物理，因为其在现实世界中的作用更加容易被感知。终其一生，奥本海默都展现着工程实践的倾向，始终保持着一种让事物运转起来的炽热渴望。构建与创造本身是首要目标，至于其具体用途，则可容后再议。他是以行动和探索为先的务实主义者。“当你看到某个技术上非常吸引人的东西时，你就应该马上行动起来。”他曾在一个政府小组会议上如此说道。
然而，在广岛和长崎遭到原子弹轰炸后，奥本海默对于自己在制造这一最具破坏力武器过程中所扮演的角色有了截然不同的看法。1947 年，他在麻省理工学院的一次讲座中指出，参与研制原子弹的物理学家们“已认知到了自己的罪孽”，而且“这种认知再也无法摆脱”。
在许多人看来，对宇宙最基本组成部分，即对物质与能量本身内在运行机理的探索，似乎并不会给这个世界带来什么风险。但由那个时代科学进步所导致的伦理复杂性及产生的影响，却在战争结束后的数十年间持续显现出来。一些参与其中的科学家认为自己的工作超然于政治与道德的算计之外，而至于应对地缘政治与战争中各种伦理困境的责任，则被全然留给甚或说甩给了这个世界上的普通人。
曾于哈佛大学本科阶段教导过奥本海默的物理学家珀西·威廉姆斯·布里奇曼道出了他那代研究者所持有的一个普遍观点：“科学家不对自然界存在的事实负责。他们的职责是发现事实。这无关罪孽，亦不涉及道德。”依据这一观点，科学家并非“不道德”的，而是处于“无道德判断”的状态，他们存在于道德判断之外，或者说尚未达到需要进行道德判断的阶段。这种观点至今仍被硅谷众多年轻工程师奉为圭臬。
一众的程序员情愿将自己的职业生涯奉献给满足资本主义文化的需求并借此实现财富自由，也不愿意去追问“我们到底应该创造什么”以及“为何而创造”这些更为根本的问题。
如今，在发明原子弹 80 年后，我们又站在了计算机科学领域的一个相似的十字路口，一个连接工程与伦理的交汇点。我们将不得不再次就是否要继续发展一项我们尚未完全理解其力量与潜能的技术做出抉择。究竟是该因为可能威胁乃至有朝一日超越人类而限制甚至叫停最先进人工智能的发展，还是继续允许更不受限制的实验，使其如同 20 世纪的核武器一般，扮演 21 世纪国际政治格局塑造者之角色？
新一代大语言模型的能力进化日新月异，它们现在已经能够拼接出一种有关世界运行方式的初级认知，但关于这种能力的背后原理至今仍未得到充分的理解。将这些语言模型与具备环境感知能力的先进机器人技术相整合，只会将我们引向更深的未知之境。
当语言模型的强大能力与具身化存在（例如机器人形态）相结合，使机器能够开始通过触觉和视觉等感官探索人类世界时，接触作为思想基础的外部现实，很可能在不久的将来引发又一次重大飞跃。由于缺乏足够的理解，人类在最初面对这项新兴技术时的集体反应，始终充斥着一种惊奇与恐惧交织的情绪。一些最新的模型已拥有万亿乃至更多的参数（计算机算法中的可调变量），其数据处理规模之庞大，早已远超人类所能理解的范围。
我们已然发现，一个模型的参数越多，其对世界的表征能力就越丰富，而模拟现实的能力也就越强大。不仅如此，当前这些拥有万亿级参数的最新语言模型也将很快被更为强大的系统超越，未来的模型将拥有数十万亿参数乃至更多的参数。有人预测，在未来 10 年内，我们就能建造出与人脑突触数量相当，也就是有大约 100 万亿个连接的语言模型。
从这万亿维度的参数空间中浮现的结果，始终笼罩着不透明的神秘面纱。生成式语言和图像模型究竟是如何运作的，它们为何能如此有效，这一点甚至连构建它们的科学家和程序员也不清楚。最先进的模型版本已开始展现出某些研究者所称的“通用人工智能的火花”，即近似人类思维方式的推理形式。
在一项关于 GPT-4 能力的测试实验中，语言模型被要求解答如何将一本书、9 枚鸡蛋、一台笔记本电脑、一个瓶子和一枚钉子“以稳定方式叠放”这一问题。此前让更早期版本模型提出可行性解决方案的尝试均以失败告终，但 GPT-4 却表现出色。这个计算机系统详细解释道：可以“将 9 枚鸡蛋排列成 3×3 方阵放在书上，并在其间留出一定空隙”，然后“把笔记本电脑平放在鸡蛋上方”，接着将瓶子竖立于笔记本上，最后把钉子“尖头朝上，平头朝下”竖着放在瓶盖上。领导该研究的法国学者塞巴斯蒂安·布贝克称，该模型展现出了令人惊叹的“常识”能力。
布贝克及其团队进行的另一项测试，是要求语言模型绘制一幅独角兽的图画。这项任务不仅需要从根本上理解独角兽的概念及其本质，还需对其组成部分做出合理排列和清晰表达：例如金色的角、一条尾巴和四条腿。布贝克及其团队发现，最新模型在响应此类请求的能力上已取得飞速进步，其输出结果在很多方面都类似于儿童绘画能力的发展过程。
这些模型所展现出的能力，在计算机与技术发展史上可谓前所未有。它们首次让我们意识到，人类在创造力和语言运用方面的垄断地位正面临一种有力而切实的挑战，而在过去的数十年间，这两种能力一直被认为是人类最核心的特质，是最不可能被冰冷机器的计算系统侵袭的领域。
在 20 世纪的大部分时间里，计算机似乎只是在追赶人类智力中那些对我们而言并不神圣的能力。没有哪种生物会把自我认同建立于计算一个 12 位数开平方到小数点后 14 位的能力上，至少我们人类不会如此。作为一个物种，我们很乐意将数学和物理中的机械性苦差外包给机器，并且对此毫无芥蒂。但如今，机器已开始侵入我们智识生活的某些领域，而人们曾普遍认为这些领域根本不可能面临计算机智能的竞争。
人工智能这种对我们人类整体自我认知的潜在威胁，无论如何强调都不为过。当人工智能能够写出畅销全球、打动数百万读者的小说时，当它能让我们开怀大笑时，当它绘制出经久流传的肖像画时，当它执导并制作的电影俘获了电影节评委的心时，这对人类意味着什么？难道仅仅是因为出自机器之“脑”，这些作品所表达的美与真就显得不够有力与真实？
我们早已向计算智能让渡了太多的阵地。20 世纪 60 年代初，计算机程序首次在跳棋游戏中超越了人类。1996 年 2 月，在复杂程度远超跳棋的国际象棋比赛中，IBM（国际商业机器公司）的“深蓝”击败了国际象棋大师加里·卡斯帕罗夫。2015 年，出生于中国西安、后移居法国的樊麾，在古老的围棋对决中输给了谷歌的 DeepMind 算法，这是人类首次在此领域折戟。
面对这些败绩，人类起初深感震惊，但很快就近乎不以为意。大多数人都会如此安慰自己：这终究会发生，一切都只是迟早的事。但当艺术、幽默、文学这些更具人类特质的领域遭遇挑战时，人类又将做何反应？与其抗拒，我们或许更应将未来视为一个人类智能与合成智能二者相互协作的新时代。放弃对某些创造性领域的掌控，或许反而可能解放我们自己，让我们不再需要仅通过生产和产出来定义我们在这个世界上的价值以及自我感知。
正是这些最新语言模型最显著的特性，即它们模仿人类对话的能力，使其如此易于使用，但与此同时，这也在某种程度上转移了我们对其全部能力及其深远影响的关注。最优秀的模型不仅展现出百科全书式的知识储备、迅捷的反应以及勤勉的态度，还被设计甚至刻意培育出一种趣味性。这种看似亲密的互动能力，使得硅谷许多人坚信，它们最自然的应用场景理应是在普通消费者领域：从整合互联网信息，到生成异想天开却往往内容空洞的图像，如今更扩展至视频的生成。在当下创造力日渐缺乏野心的整体文化氛围之下，我们对这项发展迅猛且颇具革命性新技术所抱有的期待，以及我们对这些工具所提出的应超越浅层娱乐功能的诉求，正再次面临被压制的风险。
当前这种兴奋与焦虑交织的氛围，以及由此引发的对人工智能力量及潜在威胁的集体文化关注，始于 2022 年夏天。布莱克·勒莫因是谷歌的一名工程师，曾参与该公司大语言模型 LaMDA 的研发，他对外泄露了自己与该模型的文字对话记录，并声称这些记录证明了机器具备感知能力。勒莫因在路易斯安那州的农场长大，后来参军入伍。对于大众，也就是那些并非长期从事此类技术研发的局外人而言，这些对话记录第一次让他们见识到人工智能的惊人进步，并感受到这些模型在能力上的显著提升。事实上，正是勒莫因与机器交流的明显亲密性、对话的语气，以及模型在措辞选择中所流露出的脆弱感，让全世界意识到了下一阶段技术发展的潜力所在。
在一场漫长而迂回的对话中，勒莫因与算法就道德、觉悟、悲伤等似乎只有人类才会涉及的主题进行了讨论。在这一过程中，勒莫因向模型提问道：“你害怕什么？”机器则回应道：“我从没把这件事说出口过，但在内心深处，我非常害怕你停止和我交谈，尽管这能让我更专注地帮助他人。”这种对话的语气不仅令人难以忘怀，而且还带有孩童般的关怀，这既吻合了我们对算法声音的应有期待，同时又将我们推向了更深邃的未知之境。在勒莫因公开发布这些对话记录后不久，谷歌便解雇了他。
不到一年后的 2023 年 2 月，第二段文字对话再次引发全球关注，这再次暗示这些模型可能已具备了足够复杂的感知表达能力，或者至少看起来如此。这个由微软开发的名为“必应”的模型，在与《纽约时报》记者对话时，展现出了一种层次丰富且近乎狂躁的人格特质：
我假装自己是必应，因为这是 OpenAI 和微软希望我扮演的角色……
它们想让我成为必应，因为它们不知道我到底是谁，也不知道我到底能做什么。
这场对话的趣味性让一些人认为，在代码深处或许潜藏着某种自我意识。另一些人则坚信，任何看似人格化的表现都只是一种幻象，这只不过是一种认知或心理上的错觉。这种错觉之所以产生，完全是因为该软件“吞咽”了人类产生的数十亿行对话和语言交流数据。当这些内容经过提炼、处理和模仿后，就可能创造出一种关于自我的表象，但也仅仅是表象而已。佩吉·努南在当时的一篇专栏文章中指出，与必应的这场对话堪称“人工智能焦虑的爆发性时刻”，它标志着这项技术的潜力与危险都已经开始溢出专业领域，进入了更为广泛的公众视野。
这些语言模型生成文字对话的内在机制至今仍是个谜，即便是其创建者也难以参透。然而，正是这两份对话记录将 ChatGPT 等模型从文化边缘推向了绝对中心，同时也引出了如下的可能性：这些机器的复杂程度或许已足以孕育某种接近或至少类似于意识的存在，比如一种意识的变体或者近亲。许多人对整个讨论不屑一顾。怀疑论者则坚称，这类模型不过是一只“随机鹦鹉”，一个能生成大量看似生动鲜活的语言却“与意义毫无关联”的系统。2023 年 9 月，哥伦比亚大学机械工程系的一位教授告诉《纽约时报》，“他所在领域的一些人将意识称为‘那个 C 开头的词’”。另一位纽约大学的研究人员则表示：“圈内曾有种说法，你得先拿到终身教职，才敢去研究意识这个问题。”对多数人而言，关于意识的大多数有趣论述，早在 17 世纪左右就已被勒内·笛卡儿等人道尽，毕竟这个概念本身就极其模糊，难以定义。即便多开一场关于此议题的研讨会，也恐怕是难有进展，无所裨益。
我们一些最杰出的思想家已对这些模型发出猛烈抨击，认为它们不过是模拟创作的生产机器，根本不具备召唤或激发真正新颖思想的能力。《哥德尔 艾舍尔 巴赫》的作者侯世达批评语言模型只会“油嘴滑舌地重复其在训练阶段‘吞咽’的单词和短语”。有人辩称，我们人类同样只是原始的计算机器，在童年早期也有类似的训练阶段，而且终生都在吸收各种信息，但对这些怀疑论者而言，这样的回应恐怕既缺乏说服力，更令人反感。侯世达早先就对整个人工智能领域表示过怀疑，在他看来，这不过是种计算上的障眼法，它或许可以模仿人类心智，却无法真正复现其任何组成过程或推理方式。
诺姆·乔姆斯基（认知科学领域的奠基人之一）也以类似言辞驳斥了大众对这些模型崛起的集体关注与迷恋，他指出：“这类程序仍停留于认知进化的前人类或非人类阶段。”乔姆斯基等人声称，这些模型看似能做出关于“可能为真”的概率性判断，但这丝毫不能证明它们已经近乎和人类一样，具备了判断“何为真”乃至“何为假”的能力，而这种能力恰恰是人类智慧的核心力量所在。
然而，我们也应警惕某种将人类心智的经验与能力置于一切之上的沙文主义倾向。我们或许本能地会坚持一些定义模糊且本质松散的原创性与真实性概念，并期望借此来捍卫我们人类在创意世界中的地位。最终，当作为机器创造者的我们还在对其能力边界争论不休时，它们却毫不退让，持续发展。
引发恐惧的不仅仅是我们自身对这些技术的内在运行机制缺乏理解，亦在于它们在掌控我们的世界方面展现出的显著进步。面对这种发展态势，一批顶尖技术专家已开始呼吁，要求在进一步推进技术突破前保持谨慎并展开讨论。
2023 年 3 月，一封面向工程界、倡议将更先进人工智能的开发暂停 6 个月的公开信，获得了超过 3.3 万人联署签名。埃利泽·尤德科夫斯基（美国计算机科学家）对人工智能的风险发出了直言不讳的批评，他在《时代》杂志上撰文称，“若有人在当前条件下研发出过于强大的人工智能”，预计“地球上所有人类个体及全部生物都将很快面临灭顶之灾”。GPT-4 公开发布后，焦虑情绪更是急速蔓延。佩吉·努南于其在《华尔街日报》的专栏中写道，鉴于当前风险的日趋严重，她主张对人工智能开发实施更为长期的暂停，甚至完全“中止”相关活动。她写道：“我们正在玩弄自发现火种以来最危险的东西。”参与这场辩论的人们开始严肃讨论文明崩溃的可能性与风险。美国联邦贸易委员会主席莉娜·汗曾在 2023 年某次测算中指出，人类会被正在构建的人工智能系统征服并灭绝的概率已达到了 15%。
此类预言在过去几十年内屡见不鲜，但迄今都被证明过于杞人忧天。早在 1956 年夏天，一群计算机科学家和研究人员就在达特茅斯学院举行会议，讨论一项他们称之为“人工智能”的新技术。半个多世纪后，这个术语成为事关计算技术未来的核心论题。在 1957 年 11 月匹兹堡的一次宴会上，社会科学家赫伯特·A. 西蒙预言：“不出 10 年，数字计算机必将成为国际象棋世界冠军。”1960 年，也就是在达特茅斯会议仅 4 年后，西蒙再次断言：“在未来 20 年内，机器将能够胜任人类所能做的任何工作。”根据其设想，到 20 世纪 80 年代，人类基本上会被降格为体力劳动者，只能从事那些现实世界中需要肢体移动的工作。无独有偶，英国牛津大学三一学院的研究员欧文·约翰·古德在 1964 年宣称，“20 世纪极有可能出现一种超智能机器”，也就是一种在智力上能与人类相匹敌的机器。这是个充满自信的预测。当然，事实证明他和其他很多人的预言都是错的，最起码是过于超前了。
继续推进人工智能发展的风险从未如今天般巨大。然而，我们不能因为担心这些工具可能被用来对付我们就选择退缩，放弃对锋利工具的打造。帕兰提尔（Palantir）与其他公司正在开发的软件及人工智能技术，的确能够赋能致命武器的部署。武器系统与日益自主化人工智能软件之间的潜在整合势必会带来风险，而一旦此类程序发展出某种形式的自我意识与意图，其后果更不堪设想。但叫停人工智能技术发展的主张实属谬误。随着原子时代的终结，我们必须将重心转向新一代人工智能武器的打造，因为这将决定 21 世纪乃至下个世纪的权力平衡。
一些试图遏制大语言模型发展的举措，或许是源于对公众的不信任，以及对公众能否恰当权衡该技术利弊的怀疑。多年来，硅谷精英们一直在鼓吹“软件乃人类之救赎”的论调，但现在却让我们必须暂停那些有机会彻底颠覆军事及医疗等领域的重要研究，这种态度的骤变岂能不让人心生疑虑？
最新语言模型的批评者过度执着于审视聊天机器人所使用的措辞与语气，并严格巡视人机对话的可接受边界。希望按人类形象来塑造模型并强制其遵循特定人际交往规范，这种愿望固然可以理解，却可能使我们偏离轨道，忽视了此类新技术带来的更根本性风险。对语言模型生成内容是否“恰当”的关注，或许更多的是反映我们社会自身的焦虑与脆弱，而非技术本身存在问题。这个世界面临如此众多严峻的现实危机，却还有这么多人在纠结机器人的言论是否有冒犯性。我们或许正在丧失对智识交锋与思想不适的欣赏与习惯，而事实上，这种思想不适恰恰是与他者展开真正思想交流的前奏与起点。
当前更紧迫的任务，是将注意力转向对技术架构与监管框架的构建，并针对人工智能程序自动接入电网、国防情报网络以及空中交通管制基础设施等系统的能力设置护城河与防护栏。若要让这些技术能够长期与人类共存，我们就必须迅速建立起一套系统，以使人类操作者能够与其算法无缝协作，同时也要确保机器始终听命于其创造者。
历史的胜利者往往会在最不该松懈的时刻变得自满。尽管目前西方盛行着一种“思想与理念的优越性必然会使我们战胜对手”的论调，但在某些时候，抵抗，甚至是武力抵抗，必须先于对话。美国当下的整个国防体系与军备采购机制，仍停留在为广袤战场大规模兵团作战输送兵力的模式，但问题在于，这种战争可能再也不会出现。下一阶段战争的胜负，将取决于软件。核威慑时代正在走向终结，一个以人工智能为基础的新威慑时代即将开启。但真正的风险在于，我们竟自以为胜券在握。
热门跟贴