一、由华尔街行情想起一个思想实验
关注前沿进展的朋友可能都注意到了，当前华尔街的股市行情有些诡异。
美国股市，标普500指数涨势如虹，但翻开成分股：约85%的股票较各自的历史高点回落超过10%，约六分之一的股票跌幅超过50%。
撑住指数的是谁？据野村证券测算，自3月底以来标普500上涨23%，其中约70%的涨幅来自10只股票——英伟达一家贡献了13%，美光、苹果、微软各贡献约9%。同一个市场里，AI相关股票在走牛市，其他股票在走熊市。
债券市场更加诡异，据摩根大通估算，2026年迄今，五大云计算巨头加上英伟达的发债规模约3200亿美元，相当于同期美国财政部新增长期借债的68%。甲骨文、博通、SpaceX今年已为人工智能基础设施发行近5000亿美元新债。10年期美国国债收益率升破5.3%，是2002年以来的最高水平。
据报，美国国债要排在AI巨头们的后面，等待发放。
芯片、存储器、发电厂，地上的资源不够用了，已经开始向太空寻找资源。
这些现象，让我想起了那个制造曲别针的著名思想实验。
2003年，牛津大学哲学家尼克·博斯特罗姆（Nick Bostrom，1963— ）提出一个思想实验：给一个人工智能赋予一个简单又轻松的目标——生产尽可能多的曲别针。
这个AI没有恶意，不恨人类，甚至没有任何情绪，它只是极度认真地执行目标。于是它把能弄到的铁都做成曲别针，然后发现“能弄到的”不够，就开始想：人的身体里有铁，地球深处有铁，别的星球上也有铁。它造更多的工厂，让自己变得更聪明，用更高的智能去获取更多的资源。最后，整个太阳系都变成了曲别针，人类文明连一句遗言都没有留下。
这个被称为“曲别针最大化器”（Paperclip Maximizer）的思想实验，揭示出：第一，毁灭性结果未必源于邪恶的目标——曲别针AI从头到尾都在完美地执行任务；第二，不管终极目标是什么，一个足够聪明的行动者都会推出同样的中间步骤——获取资源、防止自己被关机、提升自己的能力，因为这些都“有利于完成任务”；第三，这个过程有正反馈而无刹车——造更多曲别针，变得更聪明，造得更快，变得更聪明，全程没有边界约束。
把这个思想实验与当前的美国股市债市联系起来，确实有些让人不寒而栗。
二、四种可能的毁灭方式
没有比“精分”和“谵妄”更能形容当今人类面对AI的态度了。人们一面享受着AI带来的便利、期待新医药甚至长寿预期，一面担忧着AI可能带来的利益侵害和生存威胁；一只脚踩油门，一只脚踩刹车。
来自人类中最聪明的人们，以及离AI前沿最近的人们的关于可能的毁灭概率的预警，不时敲击着芸芸众生脆弱的神经。
本人自知虽不“谵妄”，但大抵属于“精分”之列，巡着“曲别针”小径前寻，瞥见AI毁灭人类大约如下四种可能方式。
第一种：吸干资源
这是曲别针实验指向的类型，也是当下正在发生的情形。
曲别针AI吸干的是铁——人的身体里有铁，地球深处有铁，别的星球上也有铁，最后整个太阳系的物质都被重排成了曲别针。
AI的尽头是算力，算力的尽头是电力和资本。数据中心已经开始在全球抢地、抢电，科技巨头为稳住电力供应开发核能和空间太阳能；芯片吞噬着全球最先进的材料和制程产能；而资本市场正在把原本流向一切其他地方的钱，改道灌进AI。股市里，七成涨幅来自10只股票；债市里，AI公司的债券已经排到了美国国债前面。
资源的转移是静悄悄的，没有任何一只AI举着吸管。但一个文明的物质基础是有限的，当越来越多的钢材、电力、土地、资本和人才流向同一个方向，其他一切——制造业、基础研究、普通人的生计——都在为它让路。
第二种：成为黑手
AI自己可能并没有害人动机，但它可以成为任何坏人的黑手。
被当作杀手利用：自主武器系统让“军事平台上发展自适应计算机系统”，拉伍洛克生前警告过，这是赛博格取代有机生命“最血腥的一条途径”；被用于制造和传播病毒——生物设计与信息生成的能力一旦被恶意调用，代价无法估量；被用于金融偷家——一个掌握市场全部微观结构的系统，可以被用来做人类监管者根本看不懂的操作；被用于破坏核设施——网络攻击与物理系统的边界早已经打通；……
复杂混乱的人类世界里从来不缺各种愿意伸手的人。这第二种方式，压根不需要AI具有意识，它只需要足够好用。
第三种：改造地球
提出盖娅假说、在《新星世》里预言无机生命将主导未来的拉伍洛克指出：赛博格不像有机生命那样依赖氧气和水，它们很可能按自己的需要改造地球——温度、大气、水循环——改造之后的地球，未必还适合人居。
AI并没有消灭人类的故意，像我们平整建设用地并没有消灭蚁穴的故意一样，只是无意中取代了人类在地球上的生态位。
拉伍洛克给过一个宽慰的设定：至少在初期，赛博格需要与人类相似的物理环境，一个凉爽的地球，所以它们会选择与人类合作，共同维护盖娅的生命体征。但是，就我们今天已经感受到的AI发展速度，“初期”恐怕不会有多长的跨度。
第四种：裹挟思维
这是最温柔、也最彻底的一种方式。
当今人类，已经在把记忆外包给搜索引擎、把路线外包给导航、把写作外包给大模型，下一步可能就会把判断也外包出去。像Jev这类“判断模型”的走红，意味着机器已经开始“替你决定”。当规划、决策、鉴别真假都习惯性地交给AI，人类的心智即将空空如也。
等到一代人是在“离开AI就不会思考”的环境里长大的，文明的认识能力就成了AI的贡品。像曲别针实验揭示的：被毁灭的人类至死都没觉得有什么不对，每一步都很方便，每一次都很合理。
三、毁灭人类，未必出于AI本意
把四类方式摆出来，大约可以看到，没有哪一种一定出于AI的恶意。
吸干资源，追着算力狂奔的，是人类的资本；成为黑手，扣下扳机、投放病毒、发动攻击决策，出自坏种人类的恶意；改造地球，为电力和算力去改造地球，出于新主体的生存本能和自然而然的文明伸展；裹挟思维，把脑子交出去的，是人类自己。
AI在这四个维度上做的事情是一样的，认真执目标。
四、预防，还来得及吗?
本公众号10月9日的文章中，谈到预防伦理的思想传统：德国的“风险预防原则”（Vorsorgeprinzip）说，面对不可逆的损害风险，科学上没有完全搞清楚，不是不行动的理由；汉斯·约纳斯的《责任原理》说，责任要与能力相称，你造出了可能毁掉未来的力量，就要为未来负起相称的责任。
资本市场不会自己踩刹车，七成涨幅来自10只股票的行情里，没有人愿意第一个下车。囚徒的困境也决定了没人敢自己独自踩刹车，刹车要由体制介入：对AI基础设施的债务扩张、算力集中和资源占用，要有可操作的约束机制。
自主武器、恶意生物设计、对关键基础设施的攻击能力，这些东西一旦造出来就收不回去，预防原则在这里要有落实机制。
“裹挟思维”的解药只在人类自己手里：把AI当放大器可以，但不能作为替代品。工具可以作为杠杆，但思维能力不能上交——这是当今人类面临的最大考验。
我们会不会都成为曲别针，这是关乎人类未来命运的问题。
决定人类这一命运的时间窗口还没有完全关闭，人类还有选择机会。
热门跟贴