DeepMind联合创始人、微软人工智能CEO

穆斯塔法·苏莱曼重磅作品

浪潮将至

技术、权力与未来的冲击

The Coming Wave: Technology, Power, and the 21stCentury’s Greatest Dilemma

打开网易新闻 查看精彩图片

定价:79.00

书号:978-7-5217-6848-0

作者:穆斯塔法·苏莱曼(Mustafa Suleyman),迈克尔·巴斯卡尔(Michael Bhaskar)

出版时间:2024年10

尤瓦尔·赫拉利、丹尼尔·卡尼曼、埃里克·施密特、李飞飞、陆奇

一致推荐

一个巨浪时代,一部为你指引航向的作品。

——比尔·盖茨

内容简介:

人工智能、生物技术、量子计算……我们正在接近人类历史的一个关键节点,这一节点决定着人类命运的未来走向。我们已被人工智能包围,生活中的一切都将改变。人工智能将组织我们的生活,经营我们的生意,管理核心的政府服务。我们将生活在一个有DNA打印机、量子计算机和机器人助手的能源丰富的世界里。

作为开创性的人工智能公司DeepMind的联合创始人和微软人工智能的CEO,作者穆斯塔法·苏莱曼一直处于这场浪潮的中心。他认为,未来10年将被这一波强大、快速扩散的新技术所定义。在这本书中,苏莱曼以通俗易懂、冷静犀利的笔触,展示了这些力量将如何创造巨大的繁荣,又将如何威胁到作为全球秩序基础的民族国家。他既引领我们了解激进技术变革的历史,又引领我们面对深刻的社会挑战。

这本书为我们提供了一剂现实的镇静剂,逻辑清晰地描述了当前的技术冲击,又不乏新意和趣味,引人深思。

作者简介:

打开网易新闻 查看精彩图片

©Chris Wilson

穆斯塔法·苏莱曼(Mustafa Suleyman)

l 微软人工智能CEO 。

l 曾与戴密斯·哈萨比斯等联合创办人工智能公司 DeepMind,后任谷歌公司人工智能产品与政策副总裁。

l 202 2 年,与领英联合创始人里德·霍夫曼 等 共同创办了Inflection AI, 该公司 获得高达13亿美元的投资,估值一举突破40亿美元。

l 2023年 和2024年 , 两次入选 《时代》周刊发布 的 全球 “ 百大AI 影响力 人物 ”榜单。

打开网易新闻 查看精彩图片

迈克尔·巴斯卡尔(Michael Bhaskar)

作家、数字出版人、咨询顾问和企业家,曾为《卫报》《金融时报》《连线》等撰稿。

目录:

推荐序一 / 薛澜 VII

推荐序二 / 张祺 XI

巨浪时代的关键词 XV

前言 XIX

第一章 遏制是不可能的 001

浪潮 001

困境 004

陷阱 009

论点 014

第一部分 技术人

第二章无尽扩散 021

发动机 021

通用技术浪潮:历史的节拍 024

扩散是常态 029

从真空管到纳米:急剧扩散 032

第三章 遏制问题 037

报复效应 037

遏制是基础 039

我们是否说过“不”? 041

核技术是例外? 045

技术动物 050

第二部分 下一场浪潮

第四章 智能技术 057

欢迎来到机器世界 057

AlphaGo 与未来之始 059

从原子到比特再到基因 061

寒武纪大爆发 063

不只是潮流词语 065

人工智能之春:深度学习走向成熟 066

人工智能正席卷世界 069

自动补全一切:大语言模型的崛起 071

人脑级人工智能模型 074

再度高效,以少驭多 078

感知初现:机器的表达 081

超越超级智能 087

能力:新时代的图灵测试 088

第五章 生命技术 093

DNA 剪刀:CRISPR 革命 094

DNA 打印机:合成生物学焕发新生 098

生物创造力的释放 100

合成生命时代的人工智能 104

第六章 更广泛的浪潮 109

机器人技术走向成熟 110

量子霸权 116

下一次能源转型 118

浪潮相继 120

第七章即将到来的技术浪潮的 4 个特征 124

非对称性:权力大转移 125

超级进化性:无尽加速 128

通用性 :多多益善 131

自主性及其他:人类是否仍是主角? 135

大猩猩问题 138

第八章势不可当的驱动力 141

民族自豪感 :战略必需 144

军备竞赛 150

知识渴望自由 154

百万亿美元商机 159

全球性挑战 166

个体自我追求 172

第三部分 国家的失败

第九章 大契约 179

国家的承诺 179

哥本哈根世界气候大会的教训:政治的个人化特征 181

脆弱的国家 185

技术的政治性 :即将到来的技术浪潮对国家的挑战 189

第十章 脆弱性放大器 196

国家紧急状态 2.0:非对称性失控的实例 196

大幅下降的权力成本 200

武装机器人:进攻行动的新主宰 201

错误信息机器 207

国家支持的信息攻击 210

实验室泄漏与意外不稳定性 212

关于自动化问题的辩论 217

第十一章 国家的未来 224

马镫 224

集中化:智能的复合回报 227

监控:威权主义的助推器 235

分散化:权力归于人们 238

即将到来的矛盾浪潮 245

第十二章困境 248

灾难:终极失败 248

各式各样的灾难 251

邪教、疯子与自毁式国家 257

反乌托邦转向 260

停滞 :另一种灾难 264

接下来是什么? 268

第四部分 穿越浪潮

第十三章 遏制必须成为可能 273

众说纷纭的代价 273

仅靠监管是不够的 277

重新审视技术遏制:新的大契约 281

洪水来临之前 284

第十四章 迈向遏制的 10 个关键步骤 289

1. 安全:技术安全的阿波罗计划 290

2. 审计:知识就是力量,力量就是控制 297

3. 技术命门:争取时间 301

4. 开发者:批评者也应参与开发工作 303

5. 企业:利润 + 使命 306

6. 政府 :生存、改革、监管 311

7. 联盟:是时候制定条约了 316

8. 文化:正确地接受失败 321

9. 运动:公众的力量 326

10. 狭窄小道 :唯有穿越 328

后人类世的生活 337

致 谢 345

注 释 349

媒体及专家评论:

国内外40位知名企业家、科技专家、历史学家、哲学家、国际关系学者、高校教授联合推荐

清华大学苏世民书院院长,清华大学人工智能国际治理研究院院长薛澜

微软公司全球资深副总裁,微软人工智能亚太区总裁张祺

倾情作序

清华大学计算机系教授,中国科学院院士张钹

美国国家工程院外籍院士 , 粤港澳大湾区数字经济研究院理事长沈向洋

北京大学讲席教授,人工智能研究院、智能学院院长朱松纯

北京大学新闻与传播学院教授胡泳

360集团创始人周鸿祎

大数据专家,《数据之巅》《数文明》作者涂子沛

梅花创投创始合伙人吴世春

中国社会科学院哲学所科技哲学研究室主任、研究员段伟文

中国科学院自动化研究所研究员,联合国人工智能高层顾问机构专家曾毅

安远AI创始人兼CEO谢旻希

联袂推荐

一个巨浪时代,一部为你指引航向的作品。

--比尔·盖茨

微软公司创始人

浪潮将至》是一本引人入胜、文笔优美、意义重大的书。该书探索了人工智能和生物技术给人类生存带来的威胁,并提出了应对这些威胁的实用方案。即将到来的技术浪潮预示着人类将拥有近乎神的创造力,但如果我们处理不当,这股力量也可能毁灭我们自己。

--尤瓦尔·赫拉利

历史学家,《人类简史作者

这本书深入剖析了近年来激动人心的科学进步背后隐藏的威胁与机遇,不仅充满了有趣的事实、引人深思的论点,更有诸多令人信服的观察,值得一读。

--丹尼尔·卡尼曼

诺贝尔经济学奖得主

穆斯塔法·苏莱曼无疑是更接近正在发生的人工智能革命的人,也是能够深入剖析当前巨大技术变革所带来的风险与机遇的人。这本指南非同寻常,引领我们深入探索人类历史中的这一独特时刻。

--埃里克·施密特

谷歌公司前CEO

技术正在飞速改变社会,因此,现在看到科技界人士能以如此真诚和严谨的态度进行写作,比以往任何时候都更加难得。这本书从远古的工具讲起,一直带我们走进当前人工智能能力和研究蓬勃发展的核心地带,不仅是一次全面的概览,更是一次振聋发聩的号召,让人无法忽视。

--李飞飞

斯坦福大学计算机科学系教授

《浪潮将至》以敏锐、坚定和富有同情心的笔触,剖析了我们这个时代的重要问题。对科技从业者来说,这本书值得阅读。但更重要的是,它向我们每一个人发出了明确的行动号召,呼吁我们共同参与这场意义重大的讨论。

--陆奇

奇绩创坛创始人兼CEO

各方赞誉

人工智能与生物技术即将掀起一场新的技术浪潮。一方面,这些技术会给人类带来巨大的利益,推动社会的进步与发展。另一方面,这些技术也存在严重的风险。如何应对这种困境?作者认为,我们既要积极拥抱这些技术,又需制定周密的遏制策略和安全措施,以保证新技术的健康发展。作者引用历史上发生过的几次技术浪潮及其相关的数据来证明他们的观点,因此书中提出的见解是深刻和有说服力的,具有很大的参考价值。

——张钹清华大学计算机系教授,中国科学院院士

这本书围绕着两个核心的话题和概念展开,一个是“浪潮”,一个是“遏制”。作者把当下的前沿新科技比喻成即将到来的技术浪潮,并类比国际政治领域的“遏制”,创造性地提出了科技领域的“遏制问题”——如何在享受技术带来的巨大利益的同时,保持对强大技术的约束和控制。难能可贵的是,作者探索出了一系列“遏制浪潮”的步骤,既展示了强大技术创造的巨大繁荣,又引领我们直面技术的重大威胁,为我们提供了一套切实可行的应对策略。

——沈向洋香港科技大学校董会主席

这本畅销书的主题是,以通用人工智能和合成生物学为核心的新的技术浪潮将给人类社会带来空前的巨大风险。作者穆斯塔法·苏莱曼是一位有着叙利亚血统的英国人,早年在伦敦市长办公室工作,参与过气候变化的谈判,后来参与创建DeepMind等几家知名人工智能公司。他以独特的视角旁征博引,向读者描述了各种风险的真实性,并呼吁启动人工智能安全与生物安全的阿波罗计划。这本书既有技术深度,又有人文情怀,值得深读!

——朱松纯北京大学讲席教授,人工智能研究院、智能学院院长

穆斯塔法·苏莱曼动用了我们非常熟悉的浪潮隐喻,来总结人类的技术野心:人类先是操控原子世界,然后把玩比特世界,但犹自不满足,现在正努力创造新形式的生物生命。他声称自己不是技术决定论者,但隐喻的选择暴露了他难以逃脱干系,因为我们都知道,浪潮隐喻的核心是认为有一股巨大的力量不可阻挡地袭来,而人却在其面前畏缩不前。作者显然预见到了这种问题,因此把书的最后落脚点放在了“遏制”策略上,并提出了10步操作法。可是,到底如何遏制看似无法遏制的东西呢?任何一个大力推动了人工智能的进展又反过来警告人工智能的风险的人,大概都像人工智能技术本身一样是个矛盾体。你读到了一本既批评人工智能炒作又批评人工智能厄运预言的书,只不过这一次的这位作者的确是个行家。

——胡泳北京大学新闻与传播学院教授

正如这本书的书名所说的那样,人工智能引发的浪潮已然轰鸣而至。面对浪潮,每个人都不免既有兴奋期待,又有忐忑不安。这本书的作者站在全球高度和人类技术史的角度,为我们的这种兴奋期待和忐忑不安,提供了更加深入的视角和更加深刻的洞察。此书值得所有关注人工智能的人阅读和思考。

——周鸿祎360集团创始人

人工智能和生物技术正在崛起,它们不仅会给我们的生活带来巨大的积极改变,也会像核弹爆炸一样影响人类的生存和发展,我们如何应对?这本书检视了新技术浪潮的前世今生,提出了遏制技术负面影响的路线图,是一本难得的好书。

——涂子沛大数据专家,《数据之巅》《数文明》作者

这是一个来自DeepMind联合创始人、微软人工智能CEO的紧急警告!人工智能和其他快速发展的技术在带来巨大繁荣的同时,也对全球秩序构成威胁,我们如何在还有机会的时候控制它们?这本出自专业人士之手的书提供了宝贵的思路和建议。无论你是科技行业的从业者、研究者,还是正在寻找新机会的投资人,这本书都能为你提供深刻的洞见。

——吴世春梅花创投创始合伙人

科技无比狂野,已临近人类能动性和控制力的极限。《浪潮将至》一书,力图直面这一难以驾驭但又必须驾驭的狂潮,探讨科技智人如何拥抱深度科技化时代,走向更人性化和繁荣的未来。

——段伟文中国社会科学院哲学所科技哲学研究室主任、研究员

无论是自然界还是科技界的浪潮,机遇与风险挑战都是并存的。这本书以人工智能和合成生命为代表,探讨了科技浪潮的特征与广泛影响。科技创新者对潜在风险和应对途径的反思应成为浪潮之中所有创新者的基因。我们能否准确地预测科技发展?答案很可能是否定的。但是,我们能否因此放弃对可能出现的科技安全风险的防范?答案再一次是否定的!相较而言,人类很难驾驭自然界中的浪潮,但人类有能力也有义务塑造科技浪潮。科技的弄潮儿不仅仅是某个人,正如这本书中描述的,这需要研发者、企业、政府、民众、联盟等深度协作。面对科技浪潮,全世界需携手迎潮而上,谨慎驾驭,才能使人类发展借浪潮腾飞。

——曾毅中国科学院自动化研究所研究员,联合国人工智能高层顾问机构专家

人工智能与合成生物学这两项颠覆性技术将深刻影响全人类的未来。一方面,它们作为新质生产力的代表,有望带来巨大的经济与社会效益;另一方面,“双刃剑”技术将带来一系列重大的安全和伦理挑战,我们必须确保不出现超出人类掌控的风险。这本书深入剖析了这两大技术的指数级发展趋势,为读者提供了思考和应对技术浪潮的重要视角。

——谢旻希安远AI创始人兼CEO

这部作品犹如来自未来的警钟,揭示了即将到来的变革以及可能引发的全球经济和政治影响。书中蕴含的洞见和前瞻性不容小觑。作者作为行业专家,其论点颇具说服力,足以重塑你对未来的感知,并转变你对当前局势的理解。

——鲁里埃尔·鲁比尼纽约大学名誉教授

穆斯塔法·苏莱曼以身为技术专家、企业家和未来洞察者的独特视角,为我们提供了十分重要的见解。这本书研究深入,紧贴时代脉搏,对当前一些紧迫的挑战进行了引人入胜的深刻洞察。

——阿尔·戈尔美国前副总统

在这本勇气之作中,高科技界的资深人士穆斯塔法·苏莱曼深刻剖析了我们这个时代棘手的问题:我们必须遏制那些似乎不可遏制的技术。他指出,生成式人工智能、合成生物学、机器人技术等一系列新兴技术正在迅速发展和传播,不仅带来了巨大利益,也伴随着日益增加的风险。苏莱曼深知,管理这些风险并非易事,没有简单的解决方案,但他敢于面对现实,坦诚相告。这本书是真实的、充满激情的,直面我们这一代人将面临的重要挑战。感谢苏莱曼,让我们看清了现状,也明白了自己的选择。现在,该轮到我们采取行动了。

——安德鲁·麦卡菲麻省理工学院斯隆管理学院首席研究科学家

人工智能革命正在进行中,但我们对它的理解究竟有多深?《浪潮将至》是一本内容广博、逻辑清晰的指南,既介绍了激进技术变革的历史,也介绍了未来面临的深刻政治挑战。

——安妮·阿普尔鲍姆普利策奖得主、历史学家

这真是一本具有非凡意义且不可或缺的好书。想象一下,20年后,这本书的内容或许是对未来的保守预测,但现在读来,我几乎每隔几页就会停下,并惊叹:这真的会发生吗?这本书的绝妙之处在于,它冷静而温柔地向我们确认,这一切都会成真,并细致阐释了实现的原因与路径。其文风温和亲切,透出对读者感受的同情与理解。书中不乏令人胆寒的章节,毕竟当意识到众多熟悉的事物即将发生巨变时,恐惧是不可避免的。但读完之后,人们会感到充满能量,为能活在这样一个时代而感到兴奋。浪潮将至,此书便是我们的先兆与指南。

——阿兰·德波顿哲学家、畅销书作家

《浪潮将至》一书针对人工智能、合成生物学等先进技术可能带来的意外的灾难性后果,给出了我们急需的明确指引、现实分析和清晰解释。这本重要著作就像一张生动且颇具说服力的路线图,为我们指明了主动引导技术创新,而不是被动接受技术控制的道路。

——玛莎·米诺哈佛大学法学院教授、前院长

在《浪潮将至》一书中,穆斯塔法·苏莱曼提出了一个强有力的论点,即当今技术革命的爆炸性发展,注定会带来颠覆性影响。这本不可多得的著作将帮助你洞悉这些技术发展的速度和规模——它们将如何在我们社会中广泛传播,以及它们对于构建我们这个世界的组织机构所带来的潜在挑战。

——伊恩·布雷默欧亚集团创始人

这本书非常重要,既振奋人心又令人警醒。对不了解当前技术革命的人来说,它是一次至关重要的启蒙;对已经有所了解的人来说,它则是一次直面挑战的机会。这本书关乎我们每个人的未来,因此我们需要仔细阅读,并根据其指引行动起来。

——戴维·米利班德英国前外交大臣

穆斯塔法·苏莱曼坦率地评价了人工智能的潜在风险与令人惊叹的可能性。他提出了一个紧迫的议题,即政府需要迅速采取行动,限制这一革命性技术可能带来的具有灾难性的应用。

——格雷厄姆·艾利森哈佛大学教授,《注定一战》作者

指数级发展的技术让我们既惊叹于其力量,又对其潜在风险感到忧虑。穆斯塔法·苏莱曼在梳理工业发展历史的过程中,以冷静、务实且充满道德洞察力的笔触,描述了技术进步的惊人速度。他的个人经历为《浪潮将至》一书增添了丰富色彩,使其成为一本引人入胜的读物,特别适合那些希望从日常科技新闻洪流中抽身出来的人。

——安杰拉·凯恩联合国前副秘书长兼裁军事务高级代表

这本书深入探讨了人工智能目前的新进展以及未来呈指数级增长的趋势,由资深人士撰写,颇具说服力……如果你渴望了解社会应如何稳妥地应对这种颠覆性的技术,那么这本书绝对值得一读。

——布鲁斯·施奈尔安全技术专家

人工智能与合成生物学的浪潮即将袭来,它们将共同塑造下一个十年,那将是人类历史上辉煌的时代,也可能是动荡的时代。而在这波澜壮阔的时代变革面前,穆斯塔法·苏莱曼无疑是能洞悉并解读其中挑战的人。这本书不仅引人深思,而且颇具紧迫感,语言既有力又通俗易懂。对想了解这些技术巨大潜力的读者来说,这本书不容错过。

——埃里克·布莱恩约弗森麻省理工学院斯隆管理学院教授,《第二次机器革命》作者

当今世界正面临着一个巨大的挑战:如何设计一种治理方式,既能充分发挥人工智能和生物技术的优势,又能避免它们可能带来的灾难性风险。这本书对这两种技术所构成的“遏制挑战”进行了深入而细致的剖析。它研究详尽,见解独到,为政策制定者和安全专家提供了诸多具有建设性的建议。

——贾森·马西尼兰德公司CEO

如果你想了解正在涌现并汇集成主流的变革性技术浪潮的含义、前景与潜在风险,那么这本书非常值得一读。它是由人工智能领域的先锋人物之一穆斯塔法·苏莱曼所撰写的,内容充实且充满惊喜,定会让你受益匪浅。

——斯蒂芬·弗莱演员、作家和电视主持人

《浪潮将至》一书文字清晰流畅,研究深入且易于阅读,堪称来自技术革命前沿的佳作。书中巧妙地将个人与科技的故事交织在一起,深刻剖析了为何对强大技术的有效治理至关重要且颇具挑战。

——杰夫·马尔根爵士伦敦大学学院教授

这本书提供了人工智能对人类未来意义的深刻剖析。穆斯塔法·苏莱曼作为两家当代重要的人工智能公司的联合创始人,其独特性不言而喻。他是一位颇具天赋的创业者,一位见解独到的思想家,也是即将到来的技术浪潮中重要的号召者。

——里德·霍夫曼领英公司联合创始人

《浪潮将至》一书用引人深思、令人信服的观点阐述了先进科技正在重塑社会的方方面面:权力、财富、战争、工作,甚至是人际关系。我们能否在这些新技术控制我们之前先掌控它们?穆斯塔法·苏莱曼不仅是人工智能领域的代表人物,也是长期呼吁政府、大型科技公司和公民社会为共同利益而行动的倡导者,他是解答这一重要问题的合适人选。

——杰弗里·萨克斯哥伦比亚大学教授,联合国可持续发展解决方案网络主席

苏莱曼以其独特的视角,深刻剖析了人工智能和合成生物学无节制发展可能带来的严重后果——地缘政治动荡、战争威胁、国家主权的侵蚀。特别是在我们迫切需要警醒的当下,他的观点尤为宝贵。更为难得的是,苏莱曼不仅提出了问题,还深入思考了解决之道。他提出了一系列切实可行的技术治理措施,这些措施如果能够得到大家的共同推进,将有望改变这些技术的开发和传播环境,为我们通向更加光明的未来开辟道路。这本书值得每一个人去阅读。

——梅根·奥沙利文哈佛大学肯尼迪政府学院贝尔弗科学与国际事务中心主任

这本书就像一记警钟,需要我们每一个人响应,否则我们会追悔莫及……穆斯塔法·苏莱曼以清晰易懂的语言,阐述了失控技术带来的风险以及人类面临的挑战。

——特里斯坦·哈里斯人道技术中心联合创始人、执行主任

这是一份既实用又充满希望的、针对我们这个时代紧要问题的行动指南:如何掌控那些比我们自身强大得多的实体。

——斯图尔特·罗素加州大学伯克利分校计算机科学教授,《AI新生》作者

《浪潮将至》一书以现实、深刻而易于理解的方式,揭示了人工智能和合成生物学所带来的空前的治理挑战和国家安全挑战。苏莱曼的这本引人深思且令人震撼的著作,详细阐述了我们该如何应对这些看似无法遏制的技术。

——杰克·戈德史密斯哈佛大学勒尼德·汉德法学讲席教授

《浪潮将至》一书精彩纷呈,引人入胜,既复杂又清晰,既紧迫又冷静。它引导我们深入思考和面对这个时代至关重要的问题:如何确保即将到来的、令人惊叹的、迅猛发展的科技革命,如人工智能、合成生物学等,能够塑造出我们向往的世界?这绝非易事,但苏莱曼为我们提供了坚实的基础。每一个关心未来的人都应该阅读这本书。

——埃里克·兰德麻省理工学院-哈佛大学博德研究所创始主任,白宫前科学顾问

《浪潮将至》一书以清晰、深刻的笔触,恰到好处地展现了我们当前的技术困境,并深刻地揭示了当前时代的核心挑战。这本书的姿态务实又谦逊,它提醒我们:没有绝对的黑白,也没有简单的答案。技术虽然提升了我们的生活福祉,但它的发展速度远远超过了机构的适应能力。人工智能和合成生物学的进步,解锁了连科幻小说都未提及的能力,然而这种权力的扩散却威胁着我们的一切成就。为了在这个瞬息万变的世界中立足,我们必须在潜在的灾难与无处不在的监控之间找到平衡。每翻过一页,我们就离成功更进一步。

——凯文·埃斯维尔特麻省理工学院媒体实验室生物学家

精彩试读:

第一章遏制是不可能的

浪潮

几乎每种文明都有一个关于洪水的神话。

据古印度教文献记载,宇宙中的第一个人类摩奴曾得到大洪水即将来临的警告,并成为唯一的幸存者。在《吉尔伽美什史诗》中,恩利尔神以一场大洪水摧毁了世界,这个故事不免让熟悉《圣经·旧约》中挪亚方舟故事的人感到似曾相识。柏拉图曾提及消失的城市亚特兰蒂斯,它被一场巨大的洪水吞噬。人类的口述传统和古代文献中弥漫着这样一个主题:一场巨浪席卷一切,随之而来的是世界的重塑和重生。

洪水在历史上也留下了真实的印记—无论是世界巨大河流的季节性泛滥,冰期结束后海平面的上升,还是地平线上突如其来的海啸冲击。导致恐龙灭绝的那颗小行星曾在地球上激起高达一英里a的巨浪,从此改变了进化的轨迹。这些浪潮的巨大力量已经深深烙印在我们的集体意识之中:它们如同巨大的水墙,势不可当、无法驾驭、难以遏制。它们是地球上最强大的力量之一,它们塑造了大陆的轮廓,灌溉了地球上的庄稼,孕育了文明的发展。

其他类型的浪潮也具有同样强大的变革力。如果重新审视历史,你就会发现,历史上充斥着一系列比喻意义上的浪潮:帝国和宗教的崛起与衰落,商业活动的迸发与繁荣。想想基督教或伊斯兰教,这些宗教起初只如同小小的涟漪,而后逐渐发展壮大,覆盖了地球上广阔的区域。这样的浪潮是一个反复出现的主题,勾勒了历史的沉浮、大国的争斗和经济的兴衰。

技术的崛起与传播也一直以改变世界的浪潮之姿出现。自人类初次掌握技术(发现火与使用石器)以来,一个鲜明的趋势便在我们的历史长河中显现。从镐到犁,从陶器到摄影,从电话到飞机等,几乎每一种基础技术的诞生都遵循一个恒定不变的规律:随着时间的推移,这种技术的成本会降低,使用变得越来越容易,最终得以大规模扩散和普及。

这种浪潮般的技术发展与扩散,正是“技术人”(Homo Technologicus)的崛起史—人类仿佛化身为技术动物。人类对改善的追求,无论是在个体、环境、能力方面,还是在我们对周遭世界的影响方面,都在推动着思想与创造力不断演进。发明,这一持续展开、不断扩展和涌现的进程,是由自组织的、竞争激烈的发明家、学者、企业家和领导者共同驱动的。每个人都怀着各自的动机,竞相前行。技术发明的生态系统天生具有扩张性,这是技术的内在特质。

问题是,接下来事情会如何发展?在后续章节中,我将为你们讲述历史的下一个伟大浪潮的故事。

请环顾四周。

目光所及之处都有什么?是家具、高楼大厦、手机、食物,还是一个景观公园?你视线中的几乎所有物体都很可能是经由人类智慧创造或改造过的。语言作为人类社交互动、文化传承、政治组织乃至人性本质的基石,既是我们智能的产物,也是其驱动力。每一条规则、每一个抽象概念、每一次小小的思维创新或项目尝试,以及你人生旅途中的每一次偶遇,都深深地镌刻着我们这个物种独有的、纷繁复杂的想象力、创造力和理性印记。人类的聪明才智令人惊叹。

在你的视野中,有一种力量像人类智慧一样无所不在,那就是生物生命本身。在现代到来之前,除了少量的岩石和矿物,大多数的人工制品(从木屋、棉衣到煤火)皆源自曾有过生命的事物。自那时起,这个世界上新出现的一切东西就都来自人类,来自我们作为生物体存在的事实。

可以说,整个人类世界都建立在生命系统或我们的智能之上。然而,如今这两者都正处在一个前所未有的急速创新与动荡时期,经历着空前的扩展,几乎所有事物都即将改变。一场新的技术浪潮正向我们汹涌而来。这场浪潮正释放出改造上述两大基石(生命系统和人类智慧)的力量,可谓智能与生命的浪潮。

这场浪潮由两大核心技术所定义:人工智能和合成生物学。它们将共同开启人类的新黎明,创造出前所未有的繁荣和富足。然而,它们的迅速扩散也带来了威胁,使得各种恶意行为者有能力在难以想象的范围和规模上制造混乱、动荡,甚至灾难。这场浪潮带来了一个巨大的挑战,它将决定21世纪的走向:我们的未来既依赖于这些技术,又因它们而面临威胁。

从我们当前的情况来看,试图遏制这场浪潮(即对其进行控制、限制或阻止)似乎是不可能的。本书探讨了其背后的原因,以及这一趋势若无法改变,将对人类意味着什么。这些问题的含义最终将影响每一个生活在当下的人,以及我们所有的子孙后代。

我相信,这场浪潮正将人类历史推向一个新的转折点。如果我们无法有效地遏制它,我们的物种就可能会面临无法预知的可怕后果。同样,如果我们不充分利用这场浪潮带来的果实,我们也将陷入孤立无援、岌岌可危的境地。10年来,我已多次在私下场合表达过这一观点,然而,随着技术浪潮的影响力变得越发凸显,现在是时候公开阐述它了。

困境

在深入思考人类智慧的深刻力量之后,我萌生了一个简单的问题,这个问题自此萦绕着我的生活:如果我们能够提炼出赋予人类生产力和创造力的核心要素,并将其转化为软件和算法,那么未来会怎样?这个问题的答案或许能为我们解锁一些极其强大的工具,帮助我们应对最棘手的问题。一种超乎想象的、非凡的工具可能将应运而生,它能帮助我们在未来几十年里应对从气候变化、人口老龄化到可持续食品开发等一系列艰巨的挑战。

怀着这个想法,2010年夏,我与两位朋友—戴密斯·哈萨比斯和谢恩·莱格在伦敦罗素广场旁一间建于英国摄政时代的古色古香的办公室里,共同创建了DeepMind公司。如今回想起来,我仍深感我们的目标宏大、疯狂而振奋人心。我们的目标就是复制那个让人类独一无二的特质,即人类的智能。

为实现这一目标,我们需要创建一个能够模仿并最终在各个方面(从视觉和语音能力到规划和想象力,甚至包括共情力和创造力)超越人类认知能力的系统。考虑到这一系统将充分利用超级计算机的大规模并行处理技术以及全球互联网日益丰富的新数据源,我们深知,即便是朝向这一目标迈出的微小步伐,都将对社会产生深远的影响。

这个目标当时看起来遥不可及。那时,人工智能的广泛应用还只是天方夜谭,更多地存在于人们的幻想中,仅为少数纸上谈兵的学者和狂热的科幻小说迷所津津乐道。然而,在我写下这些文字时,回顾过去的10多年,人工智能的发展可谓突飞猛进。DeepMind已崛起为世界顶尖的人工智能公司之一,取得了一系列重大突破。这场新技术革命的发展速度和力量,让我们这些身处领域前沿的人都震惊不已。在本书的写作过程中,人工智能的发展速度令人瞠目结舌:每周,有时甚至每天,都会有新的模型和产品问世。显然,这场浪潮正在不断加速。

如今,人工智能系统已经能够近乎完美地识别人脸和物体。我们已习惯于使用语音转文字和即时语言翻译功能。在道路和交通导航方面,人工智能的表现已相当出色,甚至在某些情境下足以支持自动驾驶。新一代的人工智能模型能够根据简单的提示生成新颖的图像,并能以出色的细节和连贯性撰写文本。人工智能系统还能以惊人的逼真度生成合成声音,并创作出令人赞叹的音乐。即使在更具挑战性的领域,如长期规划、想象力以及复杂思维的模拟方面,人工智能也取得了长足进步,尽管这些领域曾被视为人类独有的能力范畴。

在过去几十年里,人工智能在认知能力上不断取得突破。现在看来,它似乎有望在未来3年内,在各类任务中达到与人类相当的表现水平。这是一个大胆的论断,但如果这个论断不算太偏颇,那么其意义无疑是深远的。许多在DeepMind创立之初看起来不切实际的想法,如今不仅变得合理可行,而且似乎已经成为必然趋势。

从一开始,我就清楚地认识到,尽管人工智能这一强大的工具能带来巨大的利益,但它也会像其他大多数形式的强大力量一样,引发重大的危险和道德困境。我担忧的不仅仅是人工智能发展所带来的后果,还有整个技术生态系统的演变方向。在人工智能之外,一场更为广泛的技术革命已然兴起。在这场革命中,人工智能正推动新兴的、强大的基因技术和机器人技术突飞猛进。在这个错综复杂、多种技术相互交织的局面下,一个领域的进步会加速其他领域的发展,而这种相互强化的局面已经超出了任何人的直接掌控。显然,如果任何人能够成功地复制人类智慧,那就不仅仅意味着一个有利可图的商机,更预示着人类历史的一次重大变革。它将开启一个新的纪元,带来前所未有的机遇,同时也伴随着前所未有的风险。

这些年来,随着技术的不断进步,我的担忧也与日俱增。如果这股技术浪潮实际上是一场无法阻挡的海啸,那么我们该怎么办?2010年时,几乎无人认真探讨人工智能。如今,这个曾被

视为仅属于少数研究人员和企业家的研究任务,已经演变为一个吸引全球广泛参与的宏大领域。人工智能无处不在。无论是在新闻报道中,还是在智能手机中,甚至在股票交易和网站建设的过程中,我们都能见到它的身影。全球众多顶尖企业和国家都在竞相研发尖端的人工智能模型和基因工程技术,这些技术的研发背后有着数百亿美元的庞大投资。

这些新兴技术一旦成熟,将会迅速普及,价格将变得更便宜、获取将变得更便捷,其将广泛渗入社会的各个领域。它们将带来卓越的医学进步和清洁能源的突破,不仅能催生新的商业机会,还将在几乎所有我们可以想象的领域中促进产业多样化和生活质量的提升。

然而,除了带来众多利益,人工智能、合成生物学以及其他尖端技术也将引发令人忧虑的尾部风险。这些风险可能对民族国家的生存安全构成威胁,其影响之深远,足以动摇甚至颠覆现有的地缘政治格局。设想一下,由人工智能助力的网络攻击、可能引发国家毁灭的自动化战争、人为制造的流行病,以及一个由看似强大但充满未知力量的技术所主导的世界,这些极端情况在技术的推动下都有可能成为现实。尽管每种情况的发生概率都不大,但其潜在后果都是灾难性的。因此,即便这些后果出现的可能性较小,我们也必须保持高度警惕。

面对这些潜在的灾难性风险,一些国家可能会采取高度技术化的威权主义手段来应对,以减缓这些新力量的扩散。这很可能导致对个人隐私的严密监控和大规模侵犯。技术的严格控制可能会催生一个反乌托邦式的全球监控体系,在这个体系下,一切事物和个体都将受到无间断的监视。人们对预防最极端的潜在后果的渴望为这个监控体系提供了合理化的借口。

同样可能出现的是卢德主义式抵抗。一系列针对新技术的抗议、抵制和要求暂停的声音可能出现。然而,放弃新技术的研发并全面暂停其应用,这可能吗?答案似乎是否定的。考虑到新技术所带来的巨大地缘战略和商业价值,我们很难想象有谁能轻易说服国家或企业单方面放弃这些技术所带来的变革力量。此外,试图阻止新技术的发展本身就是一种危险。历史上,技术停滞的社会往往不稳定,容易崩溃。这样的社会最终会丧失解决问题和实现进步的能力。

从当前的视角来看,无论是追求还是避免新技术都存在着巨大的风险。随着技术变得更加便宜、强大,普及度更高,风险也在逐渐累积。在这些风险中寻找一条安全的“狭窄小道”,以避免陷入技术专制主义的反乌托邦或陷入技术开放可能带来的灾难,变得越来越困难。然而,放任自流也非明智之举。尽管我们对技术风险深感担忧,但我们前所未有地需要即将到来的技术浪潮所带来的巨大好处。这正是我们面临的核心困境:新一代的强大技术迟早可能将人类引向灾难性或反乌托邦式的局面。我坚信这是21世纪人类必须面对的一个重大元问题。

本书阐述了该困境逐渐变得无法回避的原因,并探讨了可能的应对策略。我们需要充分利用技术的优势,这对于我们应对一系列严峻的全球性挑战以及摆脱当前的困境至关重要。然而,目前关于科技伦理和安全的讨论还远远不够。尽管有大量关于技术的图书、辩论、博客文章以及社交媒体热议,但关于如何遏制技术的讨论鲜有耳闻。在我看来,遏制技术的关键在于构建一个融合技术、社会和法律机制的综合体系,以在各个可能的层面上对技术进行约束和控制。从理论上讲,这是避免陷入困境的途径。但令人感到遗憾的是,即使一些对技术持最严厉批评态度的人,也常常回避讨论应如何严格遏制技术。

这种情况需要改变。我希望本书能阐明为什么,并指出应如何改变。

陷阱

在DeepMind成立几年后,我曾制作过一组幻灯片,旨在探讨人工智能可能带来的长期经济和社会影响。在加州西海岸一个充满现代感的会议室里,我向十几位科技界最具影响力的创始人、CEO和技术专家展示了这些内容。我指出,人工智能带来了一系列的威胁,我们必须积极应对。它有可能会引发大规模的隐私侵犯,或导致错误信息泛滥的信息末日危机。此外,人工智能还有可能用于军事领域,制造出一系列致命的新型网络武器,给我们这个高度网络化的世界带来新的安全威胁。

我还强调了人工智能可能带来的大规模失业风险。我引导在场的人回顾了自动化和机械化逐步取代人力的历史进程。最初,只是出现了能更高效地完成某些特定任务的手段,随后整个劳动力角色变得不再必要,而后很快,整个行业所需的工人数量就会大大减少。我认为,在未来几十年里,人工智能系统将以类似的方式取代脑力劳动,并且这一过程很可能发生在机器人取代体力劳动之前。过去,随着旧工作岗位的消失,新工作机会将随之出现。然而,假如人工智能真的能够胜任大多数工作,情况又会如何?这种即将到来的新型集中化力量几乎前所未有。尽管看似遥远,但其潜在的严重威胁正在迅速逼近我们的社会。

在幻灯片的最后,我展示了一幅出自动画片《辛普森一家》的画面。在这个场景中,斯普林菲尔德的居民起义反抗,我们熟悉的角色们手持棍棒和火把冲向前方。场景所传达的信息很清晰,但我还是在幻灯片上明确地写了下来:干草叉就要来了。它们朝着我们这些技术创造者而来,而我们有责任确保未来不会变成这样。

我环顾桌子四周,只有一片茫然的目光。房间里没有人被触动,我的信息没有引起共鸣。反驳的声音却接踵而至。他们质疑,为何经济指标并未显示出任何支持我的论点的迹象?他们认为,人工智能会激发新的需求,从而创造新的岗位;它将提升人的能力,使人更具生产力。或许确实存在一些风险,但这并不像我所描述的那么严重;人类是聪明的,总能找到解决问题的方法。他们认为没什么可担心的,并示意该进行下一个演示了。

几年后,在新冠疫情暴发之前,我参加了一场在一所知名大学举办的技术风险研讨会。会议场景似曾相识:同样宽大的会议桌,同样是一场富有远见的讨论。在一整天的会议中,伴随着咖啡、饼干以及幻灯片展示,一系列令人感到恐惧的风险在会议桌上提出来。

其中一种风险格外令人关注。演讲者展示了可打印定制DNA(脱氧核糖核酸)链的DNA合成器的成本是如何迅速下降的。这些合成器仅需几万美元便可购置,小巧便捷,放在车库的工作台上就可以帮助人们合成(也就是制造)DNA。1如今,任何在生物学方面达到研究生水平或热衷于在线自学的人都有可能做到这一点。

在这种工具日益普及的背景下,演讲者描绘了一个可怕的情景:很快就可能有人制造出比自然界中的任何病原体都更具传染性和致命性的新型病原体。这些合成病原体可以规避人类已知的对策,以无症状方式传播,或具有对抗治疗的内置能力。如果需要,一个人就可以通过网上订购和在家中重组DNA的方式来完成自制实验。邮购下单,末日便可降临。

演讲者是一位备受尊敬的拥有20多年专业经验的教授。他强调,这并非科幻小说的情节,而是真实存在的风险。在报告的结尾部分,他提出了一个令人不寒而栗的想法:如今,一个人很可能“具备杀死10亿人的能力”,所需的仅仅是一个动机。

与会者显得坐立不安,他们扭动身体,不时地咳嗽几声。随后,大家开始抱怨,避重就轻。没人愿意相信这样的可能性。他们认为,肯定有有效的控制机制,制造那样的疾病绝非易事,数据库肯定可以封锁,硬件安全肯定可以得到保障,等等。

与会者的集体反应远不仅仅是不以为意。他们从根本上拒绝接受演讲者所描述的情景。没有人愿意正视那些严峻的事实、冰冷的概率及其背后的含义。我选择了沉默,但内心的不安难以掩饰。研讨会匆匆结束。当晚,我们像往常一样外出用餐、交谈。在结束了讨论世界末日的一天之后,我们还能享受比萨,还能谈论笑话,还将回到办公室继续工作。大伙儿认为,事情总会有转机,或者那场可怕的讨论一定是弄错了什么。我也随波逐流。

然而,在接下来的几个月里,那场演讲一直萦绕在我脑海中。为什么我们当时没有更认真地对待它?为什么我们尴尬地回避了进一步的讨论?为什么有些人会变得如此尖锐,指责提出那些危机问题的人,说他们小题大做或“忽视了技术的惊人好处”?我将这种我观察到的普遍的情感反应称为“悲观规避陷阱”,即当你过于害怕面对潜在的黑暗现实时,你就容易产生错误的分析和判断,并倾向于从另一个看似安全的角度来看待问题。

几乎每个人都多多少少有过这样的反应,这导致我们忽视了一系列正在我们眼前展开的重大趋势。这几乎是一种与生俱来的本能反应。我们的物种并没有天然地准备好应对如此大规模的变革,更不用说应对技术可能让我们失望的可能性。在我整个职业生涯中,我不断经历这种心理感受,也观察到许多其他人有同样的本能反应。我写作本书的目的之一便是直面这种感受。我们需要冷静客观地看待事实,无论它们多么令人不适。

要妥善应对这场浪潮,遏制技术,并确保技术始终服务于人类,我们就需要克服悲观规避心态,直面即将到来的现实。

我希望通过本书达到这一目标。具体而言,我要承认浪潮将至并阐明浪潮的轨迹;探讨遏制是否具有可能性;将事物置于历史语境下,从人们对技术的日常喧嚣讨论中抽离出来,以看到更广阔的画面。我的目标是直面困境,理解驱动科技发展的基本过程。我希望最大限度地向尽可能广泛的读者清晰地呈现这些观点。我以开放和探究的精神写作:基于观察,从观察中追溯其含义和影响,但也对反驳的观点和更优的解读持开放态度。如果有人能证明我的观点是错误的,或证明技术遏制实际上容易实现,那我会感到无比高兴。

作为两家人工智能公司的创始人,我可以理解有些人可能期待像我这样的人能写一本更乐观、更偏向技术乌托邦的书。作为技术专家和企业家,我本质上是个乐观主义者。回想起少年时,我第一次在Packard Bell 486电脑上安装Netscape(网景)浏览器的场景,那种着迷的感觉我至今记忆犹新。嗡嗡作响的风扇,56千位每秒拨号调制解调器在连接到万维网时发出的噪声,彻底把我迷住了,这些让我得以进入充满自由和知识的网络聊天室和论坛。我热爱技术,它一直是推动人类进步的引擎,也是我们为人类的成就感到自豪和兴奋的重要原因。

但我也相信,我们这些推动技术创造的人必须有勇气预测技术在未来几十年的走向,并为其担负起责任。如果技术真有可能辜负人类的期望,我们就必须开始思考应对策略。这不仅仅需要个人的努力,更需要社会和政治层面的应对。而这样的应对,需要从我们这个行业,从我和我的同行开始。

有人可能会说,这一切都被过分夸大了;变化是渐进式的,不会那么突然和剧烈;这只不过是技术成熟曲线上的又一个高点,随后技术发展会转入低谷期;我们用于应对危机和变化的系统和机制足够强健。他们还会认为我对人性的看法过于悲观,人类历史的记录到目前为止还算不错,历史上不乏错误的预言家和被证伪的末日宣告者,这一次又有什么理由会不同呢?

悲观规避是一种根深蒂固的本能情绪反应,它让人不愿面对严重的破坏性后果出现的可能性。这种心理往往出现在那些处于安稳状态和权势地位的人身上,他们有着固执的世界观,表面上能应对变化,但实际上不愿接受任何对现有秩序构成的真正挑战。在我批评的那些陷入悲观规避陷阱的人中,有很多人对技术批评持开放态度,但他们只是口头附和,从不付诸行动。他们总是说:“我们会解决好的,一直以来,一切尽在掌控之中。”

在技术或政策领域有一定经历的人很快就能意识到,把头埋进沙子里、逃避现实的鸵鸟政策是这些领域的默认意识形态。背离这种意识形态去思考和行动意味着一定的风险:面对一些巨大而不可阻挡的力量,人们可能被恐惧和愤怒感击倒,而感觉一切都徒劳无功。因此,他们往往会维持这种奇怪而矛盾的悲观规避的心理。我深知这一点,因为我也曾在这种心理状态中挣扎很久。

在我们成立DeepMind之后,在我提及的那些报告展示发生之后,话语已在某种程度上发生了变化。关于工作自动化的辩论已经进行了无数次。一场全球性的大流行病展示了合成生物学的风险和影响力。一股“科技抵制潮”开始涌现,批评者通过文章和图书对技术和技术公司展开猛烈抨击,在华盛顿、布鲁塞尔和北京等监管职能所在的重要城市,对技术的批评声也此起彼伏。以前对于技术的小众担忧如今已成为主流,公众对技术的怀疑在增加,来自学术界、公民社会和政治界的批评声也变得更加尖锐。

然而,在即将到来的技术浪潮和巨大的困境面前,在一众习惯于悲观规避的技术精英面前,所有这些还远远不够。

论点

浪潮在人类生活中无处不在,而我们讨论的是最新的技术浪潮。人们常常觉得它仍然遥不可及,仿佛只是关于未来的幻想,听起来甚至有些荒谬。人们认为这场浪潮仅仅是少数书呆子和边缘思想家头脑里的东西,充满了夸张、术语和噱头。这种认识是错误的。相反,这场浪潮是真实存在的,就像从宽阔的蓝色海洋中袭来的海啸一样真实。

这并非幻想或纯粹的理论探讨。即使你不同意我的观点,认为这一切都不太可能发生,我也希望你能继续阅读下去。的确,我有人工智能的背景,习惯于从技术的视角审视世界。在探讨这场技术浪潮是否真的具有重大影响这一问题时,我难免带有一定的偏见。但是,在过去15年里,在近距离亲眼看见了这场不断深化的技术革命之后,我确信我们正站在一生中最为重要的变革的风口浪尖。

作为这些技术的一个构建者,我相信它们能带来众多的好处,改善无数人的生活,解决一系列根本性挑战,无论是助力开发下一代清洁能源,还是为我们最棘手的疾病提供廉价而有效的治疗方法。技术可以也应该丰富我们的生活。有必要强调的是,历史上,这些技术背后的发明者和企业家一直是推动社会进步的强大动力,改善了数十亿人的生活。

但是,如果没有遏制,技术的所有其他方面,包括每一个关于其伦理缺陷或可能带来的好处的讨论,就都将变得没有意义。如何控制和遏制这场即将到来的技术浪潮?如何在这场浪潮中维护民族国家的保障和供给?我们迫切需要为这些问题找到完美答案。但目前,还没有人能回答这样的问题。我们正面临着一个没有人希望看到的未来,但我担心它出现的可能性越来越大。我会在接下来的章节中解释原因。

在本书第一部分,我们将回顾技术发展的漫长历史,以及技术是如何像浪潮一样在几千年的时间里传播的。这些技术浪潮背后的驱动力是什么?是什么使它们在人类社会普及?我们还将讨论,是否有人类社会有意识地回避一项新技术的先例。过去,人们通常不会谈论回避技术,技术的扩散模式十分明显,而那导致了一系列有意和无意的后果。

我把这个问题称作“遏制问题”。如今,我们拥有人类发明出来的最具价值的技术,它们比以往任何技术都更加经济实惠,传播速度更快。我们该如何把控这些技术呢?

本书的第二部分详细阐述了即将到来的技术浪潮的特征。其核心是两项通用技术,即人工智能和合成生物学,它们都具有巨大的前景和力量,也伴随着巨大的风险。尽管这两者长期以来都已备受关注,但我认为它们的影响范围仍然常被低估。围绕这两项技术,已经发展出了一系列相关技术,如机器人和量子计算,这些技术的发展将以复杂而动荡的方式相互影响。

在这一部分中,我们不仅要探讨这些技术的出现模式以及它们具有的力量,还要深入剖析它们如此难以遏制的原因。这些技术都具有4个关键特征,这些特征使得这一次的技术浪潮与以往不同:它们本质上具有通用性,因此可以得到多元应用;它们具有超级进化性;它们的影响具有非对称性;在某些方面,它们还呈现出日益提升的自主性。

这些技术产生的背后有强大的驱动力:地缘政治竞争、巨额经济回报,以及开放、分布式的研究文化。无论我们能否有效监管和控制即将到来的风险,无数的国家与非国家实体都将争先恐后地开发这些技术,它们的行为将影响所有人,无论我们是否喜欢这一点。

本书的第三部分探讨了难以遏制的技术浪潮引发的大规模权力再分配所带来的政治影响。我们目前的政治秩序基础,也是技术遏制的最重要参与者,是民族国家。民族国家已经受到各种危机的冲击,而这一浪潮将进一步放大这些冲击,带来一系列的新挑战和威胁,包括潜在的新型暴力形式、错误信息的泛滥、工作岗位的流失,以及灾难性事故发生的可能性。

此外,这一浪潮将迫使权力发生一系列结构性转移,同时呈现出权力集中化和分散化的趋势。这将创造出庞大的新企业,巩固威权主义,同时将赋予某些群体和运动在传统社会结构之外的生存能力。浪潮到来时,将是我们最需要民族国家这样的机制的时候,而那时民族国家的内在微妙平衡也将面临前所未有的压力。这也正是我们陷入困境的原因。

在本书第四部分,我们将讨论如何应对即将到来的技术浪潮。我们是否还有一线希望,能够摆脱上述困境?如果存在这样的希望,应该如何实现它?在这一部分,我们提出了10个步骤,其涵盖代码编程和DNA技术的微观层面以及国际条约的宏观层面,旨在构建一套相互衔接的有力的遏制机制,作为我们实现技术遏制的基本计划。

这是一本关于应对技术失败的书。技术失败可以指普通意义上的技术故障,如发动机不工作、桥梁坍塌。但这一失败还可以从更广泛的意义上理解。如果技术损害了人类生命,催生了伤害人类的社会,或者让一些恶意(或无意中具有危险性的)行为者掌握了权力,社会就会无法管控和治理……总之,如果技术总体上造成了破坏,那么我们就可以说技术在一个更深的层次上失败了,它背离了其初衷和承诺。这种意义上的技术失败并不是技术本身固有的问题,而是与技术所处的环境、治理结构及其所服务的权力网络和用途有关。

人类身上令人惊叹的创造力为我们带来了无数成就,这种创造力使得我们擅长避免前一种类型的技术失败。正因如此,飞机失事事故变得越来越少,汽车变得更加清洁和安全,计算机变得功能更强大且更加安全。然而,我们面临的巨大挑战是,我们还未认真考虑后一种失败。

几个世纪以来,技术极大地提高了数十亿人的福祉。现代医学极大地改善了我们的健康状况,世界上大多数人能够享受到食物充足的生活,人们的受教育水平从未如此之高,和平程度也达到了前所未有的水平,物质生活比以往都更加丰富。这些都是人类的重大成就,其中一部分这样的成就正是由科学和技术创造的伟大引擎促成的。这也是我一生致力于安全地开发这些技术工具的原因。

但是,在我们从这段非凡的历史中汲取任何乐观情绪的同时,我们也必须坦诚面对现实。要防范技术失败,我们就必须理解并最终正视可能出现的问题。我们必须将理性的思考延伸到其逻辑终点,不能畏惧它指向的潜在结果。在我们认识到不好的结果可能出现时,我们必须采取行动。即将到来的技术浪潮带来了比以往任何时候都更加紧迫和巨大的威胁,这需要全球范围内的共同关注和应对。它急需答案,而目前还没有人能够回答。

技术遏制看起来不可能实现。但为了所有人的利益,我们必须让遏制成为可能。