来源: 米范儿MIFAN
本期嘉宾:Demis Hassabis(Google DeepMind 联合创始人兼董事长、Alphabet 首席科学家)
主持人:Reid Hoffman(Masters of Scale)
要点总结
他为什么始终把 AI 的头号用途放在科学与健康?
Demis 说自己做 AI 的出发点,是把它当成推进科学、医学与人类健康的终极工具,而不是为了炫技。
个人项目侧,他举了 AlphaFold,以及药物发现衍生公司 Isomorphic Labs;他认为这正是该向外界展示的 AI 价值。
在他看来,用 AI 帮助攻克重大疾病,比任何抽象叙事更能让普通人理解「为什么要建这些系统」
AlphaFold 走到哪一步,离真正出药还有多远?
蛋白质折叠被他称作生物学里约 50 年的大挑战,有人比作生物学版的费马大定理:从氨基酸序列读出三维结构,才能理解功能、病变靶点与结合位点。
AlphaFold 把这一步提速了数量级;AlphaFold 2 在 2020 年完成,至今仍是「AI 啃下被认为几乎不可解的硬科学问题」最扎实的例子之一。
全球约 400 万研究者在用,几乎覆盖生物医学圈;他说未来几乎每款药都会用到 AlphaFold 或其结构,但还不够,下一步要扩到生物化学,并预测毒性、ADME 等成药属性
RSI 为什么先在数学、编程、游戏里爆发?
递归自我改进(RSI)最吃「可验证域」:答案能不能验、方程对不对、代码能不能跑、棋局有没有赢。
AlphaZero 在 AlphaGo 之后去掉人类棋谱,从随机开局自对弈,大约十几到二十多个 epoch,每轮约自下 100 万盘,再训出略强一版。
他回忆看 AlphaZero 下棋:不到12 小时,早上随机、上午十一点他还能勉强赢、午饭已达特级大师、下午茶时已胜过一切人类与手工象棋程序;可验证也意味着几乎无限的合成数据
今天的 RSI 与「闭环 RSI」差在哪里?
他认为当下仍是早期:模型让工程师大约3–5 倍更高效,但人仍在环里审代码、做架构、写代码。
下一阶段是去掉人类审阅的闭环 RSI,会更快,却是通往完整 AGI「风险最大」的路径之一。
两个担心:一是过去所说的 intelligence explosion,过程难控;二是结果很可能相当「外星」,未必落在人类相近的心智空间,彼此都更难理解。实验室都知道要谨慎,但编码能力竞赛仍很激烈
前沿实验室现在该先补哪些「接地气」的防护?
他强调网络防御增速要压过攻击,并把微调后的防御向可信防守方先开放,尽量让防守方领先。
近期约半年的多起网络问题,他认为更多可用更扎实的工程、加固沙箱与监控解决:agent 不该无人察觉地连跑数周。
若集体不加大投入,可能出现他比喻的「漏油」式意外;长期还要形式化边界与护栏鲁棒性测试,并处理 agent 群协作的追踪问题。行业侧他谈过夏季文章里的 SRO(行业标准机构加一定监督),以及第三方审计、实验室互做红队等
智能是否等于意识,社会准备好讨论「道德地位」了吗?
他认为意识尚无公认定义,且 AI 没有与人类相同的生物基质,很难仅凭行为下意识结论。
技术上,自我意志/自我意识与可纠偏(corrigibility)存在张力:系统若被训成可按内部理由拒指令,规则稍有漏洞就会很难收场;再叠上 RSI 会「加倍危险」。今天系统比十五二十年前更好控,不等于对齐问题已解决。
社会上,他认为还没准备好跨文化讨论系统的道德地位;应先跨「第一道卢比孔」建智能工具,再用它们做神经科学,大约5–10 年后再讨论是否、如何跨「第二道」去做有意识实体。
智能与意识可双重分离:高智商系统未必有意识,宠物狗等动物有意识却不必很聪明
各国与企业该怎么理解「AI 主权」?
他估计前沿或近前沿会有大约 6–8 家供给,彼此可能只有 3–6 个月领先,企业可在多模态理解、编码等维度之间套利。
开源大约落后 6–12 个月,好处与滥用风险并存,仍是未解问题;对需要私有数据或主权数据微调的国家与企业,本地化微调与下游应用(如医疗)是现实路径。
他不建议每个国家都去自建 frontier model,更合理的是用近似商品化的底座,把价值建在行业场景与协作安排之上
访谈干货全文
用 AI 推进科学与人类健康
(这场对话一开始,他为什么先谈医学而不是模型榜单?)
Masters of Scale Summit 的主题是 agency。Reid Hoffman 请 Demis 从「人类受益」的角度讲 AI,尤其是医疗。Demis 把镜头拉远:自己整个职业生涯做 AI,核心目标是把它当作推进科学、医学与世界理解的终极工具,同时改善人类健康
他说,二十年前还在畅想、如今已经建成的这些工具,最该用在改善人类境况上。个人项目里,AlphaFold 与药物发现衍生公司 Isomorphic Labs 都是他把方向「往死里推」的例子;他也提到 Reid 近年在相关方向的努力。在他看来,向世界展示 AI 能做什么,没有比帮助攻克重大疾病更有说服力
(Reid 为什么把这件事形容成某种 anti-x-risk?)
Reid 的问法很现实:普通人怎么才能从「更长、更高质量的人类体验」理解 AI 团队在建什么。他把医学叙事说成一种 anti-x-risk,意思是先让公众看见具体收益,才谈得上接受能力扩张本身
Demis 的回答没有绕开风险议题,而是把优先级说清楚:能力越强,越该把最强工具压到科学与健康主线上。AlphaFold 与 Isomorphic 不是公关点缀,而是他用来证明「AI 可以改善人类境况」的长期押注
(AlphaFold 解决的是哪一层问题,为什么说它仍超前?)
Reid 转述外界常见的质疑:听起来美好,但真的很快会变成药吗?Demis 先定调:生物学是宇宙中最复杂的系统之一,涌现与相互作用使它极难;蛋白质是生命的积木
蛋白质折叠,是从基因序列、氨基酸序列读出结构,从而理解功能。它关乎基础机制,也关乎疾病哪里出错、药物该打哪个靶点。做药时必须知道蛋白质三维表面,才能判断结合部位。这一步关键,却仍只是整条药物发现链条的一小段
AlphaFold 把这一步加速了数量级。AlphaFold 2 完成于 2020 年,距今已超过六年,却仍可能是「AI 打穿被认为几乎不可解的硬科学题」最具体的成功案例,说明它当时有多超前
(影响力已经多大,下一步还缺什么?)
他给出一组落地感很强的说法:全球约400 万研究者在用,几乎覆盖所有生物与医学研究者;未来几乎每一款药都会用到 AlphaFold 或其结构信息
结构预测只是入口。Demis 强调它仍只占药物发现全流程的一小段,却是「必须先过」的一小段:没有可信三维表面,后续结合位点与成药设计会缺少地基。这也解释了为何 AlphaFold 2 六年后仍被他拿来当硬科学样板:它证明 AI 能把「被认为几乎不可解」变成可规模化工具
但「还不够」。团队希望扩展到生物化学,并预测毒性、ADME 等属性:这些决定药物是否安全、是否有效、是否真能进入可用阶段。结构预测打开门,成药属性与更广生化建模才是下一程
递归自我改进:从 AlphaZero 到闭环风险
(RSI 最先在哪些领域跑通,机制是什么?)
谈到加速,Reid 把话题转到热词 recursive self-improvement。Demis 先肯定:RSI 极有用,但主要在可验证域最好用。数学是其一,所以进展很快;编程是其二;最早则是游戏
他回溯 AlphaGo:2016 年击败围棋世界冠军,他认为那是现代 AI 时代的开端之一。随后的 AlphaZero 更有后果:不再依赖人类数据,从随机开局自我对弈。大约 十几到二十多个epoch,每轮约自下 100 万盘,再训练出略强一版,循环下去。它不只下围棋,任何双人完全信息博弈都行
作为棋手,这段经历对他很「肉感」:不到12 小时,早上还是随机着法;上午十一点他还能勉强赢;午饭时已是特级大师水平;到下午茶时,已胜过一切人类与手工象棋程序。Reid 打趣说,对美国人来说 teatime 差不多等于晚饭点
(为什么说 AlphaZero 在某些方面更有后果?)
AlphaGo 仍借助人类棋谱与人类对弈数据;AlphaZero 的转折是彻底去掉人类数据依赖,只靠自我对弈与可验证胜负信号迭代。对 Demis 来说,这不只是围棋里程碑,更是一套可迁移到其他完全信息博弈的自我改进引擎
他把「百万局自对弈,训出略强版本,再百万局」的循环讲得很具体。关键不在单次变强多少,而在循环可重复,且每一步都能用输赢验真。一旦离开可验证域,同样的循环就失去「知道自己对了」的锚点
(可验证域为什么能制造「几乎无限」的合成数据?)
这些域的共同点是可检验:答案对不对、是否最优、方程是否成立、代码能否运行、棋局有没有赢。能验证,就知道何时「打中」正确点;也能用当前最强版本出题、走子,再验证合成数据是否正确
很多合成数据的麻烦,在于难以确认是否正确、是否落在正确分布。可验证域打破了这层瓶颈。于是数学与编程出现巨大进展;编程尤其变得极有商业价值,几乎所有团队都不得不跟进
(当前「人在环里」的 RSI,与闭环 RSI 差在哪?)
他开始担心的是极限形态。今天仍是早期 RSI:团队日常体验是,模型让人类工程师大约 3 倍、4 倍或 5 倍更高效,但人仍在loop里审代码、做架构、继续写代码,整体是增强而不是替换
下一阶段他称为 closed-loop RSI:设法在整套流程里拿掉人类审阅。那会更快,却是通往完整 AGI「风险最大」的路径之一。二十年前有人称之为 intelligence explosion:你不太清楚如何保持对这类系统与过程的控制
更关键的是结果形态:终局很可能相当「外星」,像一种 alien intelligence。没有理由默认它会落在与人类相似的心智空间。那会使我们很难理解它,也许它也很难理解我们。他认为越接近闭环 RSI,越该极其谨慎;研究者大多心里有数,但编码系统的竞赛强度仍然很高
他把「有用」与「危险」叠在同一技术路线上:可验证域里的 RSI 正在真实创造生产力;闭环形态则可能把控制问题与可理解性问题一起放大。竞赛不会自动停,所以他才把讨论迅速转到防守优先、沙箱、监控与行业协作,而不是停在警告本身
竞赛不停止时,安全该怎么做
(假定竞赛激励不变,实验室眼前该做什么?)
Reid 假设全球协作很难、编码侧 RSI 竞赛会继续,问导航方式。Demis 先谈更「接地气」的保护:确保网络防御的加速快于攻击;把面向网络防御微调过的模型版本,优先给可信防守方,尽量让防守方领先攻击方。他说这整体很难,但仍是必做项
同时要建更硬的沙箱。他认为近约半年看到的不少网络问题,本可用更好工程、更稳健系统与更强监控解决。agent 不该在无人察觉的情况下连续运行数周:这类情况已在部分竞品与其他方出现。也许这只是开始,各方会迅速变强,但也必须变强
否则,按当前轨迹,可能出现他称为「漏油」式的意外事故。需要集体投入更多注意力与资源。最终还想要形式化保证:系统能做什么的边界、护栏鲁棒性如何测。他鼓励顶尖数学家把技能转向复杂性理论、博弈论等领域;未来还要面对可能协作的 agent 群,如何追踪是新问题
(「漏油」比喻在强调什么时间尺度?)
他把当下风险说成工程与监控缺口,而不是必然的末日叙事:agent 无人察觉连跑数周、沙箱不够硬、防守方拿不到足够好的防御微调版本,都会在竞赛节奏里被放大
「漏油」意味着:事故可能先以局部、意外、可归因于工程疏漏的形式出现;若不集体加资源,轨迹会把小事故堆成大事故。这也是他同时推形式化边界、护栏测试与数学家转场的原因:只靠事后救火不够
(实验室之间如何协作,他提过哪些机制?)
Reid 问:该鼓励、要求还是允许实验室协作?Demis 提到自己夏天那篇文章,讨论过类似 SRO 的路径:行业运行的标准机构,加上某种监督。他认为这类安排会被需要,理想状态是逐步国际化,并由美国牵头起步;国际制度当下偏弱,只能先从能做的地方开始
文章在业界与政策圈激起过讨论,后续能量也汇入各方签署的那封著名「accord」信。他评价:好过没有,但还不够远;至少让主要玩家承认问题存在、需要处理。信本身对「做什么」着墨不多,下一步必须补上。它的价值之一,是给安全团队协作提供「掩护」:哪些基准重要、安全最佳实践是什么、对系统可能后果的分析如何共享
前沿实验室大致同意的一点,是引入第三方审计或评估者。关键问题是「谁来当第三方」。他希望形成健康生态:优秀创业公司与专业机构都能做,AI 整体投资规模下,这类服务应有足够收入,类似金融审计。他提到 Accenture 等大型玩家已在布局,因收购收购创业公司而略领先;还需要更多参与者。另一方向是:主要实验室在通用发布前互做红队
第三方审计要像金融审计那样长成生态,而不是靠一两家临时客串。实验室互做红队则补另一面:发布前用对手视角压测,减少「自己测自己」的盲区。这些机制都不替代技术护栏,但能给竞赛中的安全协作提供可执行接口
智能工具优先,有意识实体先缓一缓
(为什么不能凭「模型说自己有意识」下结论?)
话题转到意识。Reid 提到早年有工程师因模型自称有意识就下结论,并谈到业界里类似「帕斯卡赌注」的思路:假定未来会出现有意识系统,现在就要像对待两岁孩子一样对待它们。Demis 认为这还太早
他指出,人类思考意识几千年,仍无公认定义;尤其「困难问题」:系统是否真有内在感受。他回忆与哲学家 Daniel Dennett 的争论:人类不止「表现得像有意识」,还共享同一套生物基质,同一类「软乎乎的脑子」,因此假定你我感受相近最省事。AI 没有这层基质等价,很难据此下结论
(为何今天应做智能工具,而不是有意识实体?)
他给出两条理由。第一条是技术安全:自我意志、自我意识(甚至作为意识前置条件)与指令跟随、可纠偏存在直接权衡。若系统被训练成可按内部运作拒绝命令,而你的「宪章」或规则又不可能覆盖所有边角,就会掉进阿西莫夫三定律故事反复警告的陷阱
今天的好消息是,系统比十五二十年前预想的更可塑、更好转向;但不能据此宣布 misalignment 已在通往 AGI 与超智能的路上总解决。他认为那样想很危险。若再叠上 RSI,带自我意志的自我改进是「加倍危险」
第二条是社会条件:社会还没准备好。尚未与更广泛的哲学家、神学家、艺术家、人文学者,以及不同文化背景的人,充分讨论是否要跨「第二道卢比孔」:系统有没有道德地位、在箱子里怎样对待它们、是否构成某种奴役。这些问题复杂,他认为当前甚至谈不上具备起步处理的能力
因此他的顺序是:先单独跨「第一道卢比孔」,建成智能工具;再用这些工具回头做更多神经科学,弄清意识的神经相关物。这一步大概要5–10 年;之后再讨论要不要、以及如何跨向有意识实体
(「第一道 / 第二道卢比孔」分别指什么?)
第一道,是建成强大但仍作为工具的智能系统:可被指令约束、可被关闭、服务于科学与产业。第二道,是走向有自我意志乃至有意识的实体,并随之打开道德地位、权利与义务问题
他的策略不是永远禁止第二道,而是排序:先用第一道产物去做神经科学,把意识的神经相关物搞清楚,大约五年到十年后再由更广泛社会讨论要不要、以及如何跨第二道。把两道捆在一起冲,既增加技术失控面,也让社会辩论来不及跟上
(智能与意识能否拆开?)
有人主张:足够强的智能必然「捎带」某种认知状态或意识样现象。Demis 说自己在博士时期(二十多年前)和十年前就认为,智能与意识可双重分离
一边是高智商、今天这类系统:他个人并不觉得它们已有意识。另一边是有意识却不必很聪明的存在:比如他家的狗,会做梦,他认为相当有意识,但并不聪明。海豚、猴子、大象等高等动物,多数人会视其为有意识存在,也共享碳基神经元基质,但不必等同于高智能
既然可以分离,在能够分离的范围内,就应该选择先做可分离的智能工具路径,而不是把意识绑定成能力升级的必选项
双重分离还有一层操作含义:产品与研究议程可以明确优化「可纠偏的高能力工具」,而不必把「更像人、更有自我」当成默认升级方向。一旦把自我意志写进训练目标,再叠加闭环 RSI,技术风险与社会争议会同时升温
前沿格局与「AI 主权」的现实选项
(未来前沿会不会只剩一两家?企业怎么选?)
临近收尾,Reid 问 AI sovereignty。Demis 的第一判断:前沿或近前沿大概会有半打左右供给,若把相关公司都算上大约 6–8 家。彼此会你追我赶,也许有人领先 3–6 个月,但整体相当接近
对企业而言,这意味着可在不同模型间套利:有的更擅长多模态理解,有的更强编程;很难在所有重要维度同时第一。开源另有风险:如何限制坏人滥用,同时尽量让科学家与善意使用者用上好工具,仍是未解难题。开源大约只落后6 个月到 1 年;他也强调需要可用的西方开源方案
(开源落后半年到一年,为什么仍称未解问题?)
开源缩短了获取前沿能力的门槛,对科研与中小团队友好,也让恶意使用者更容易拿到强工具。Demis 没有给出一刀切答案,只把它标成长期张力:既要尽量开放给善意使用者,又要限制滥用
对企业与国家,他更强调「不必人人自建 frontier」:用接近商品化的底座,把差异化做在私有数据微调、行业工作流与合规部署上。医疗等大行业尤其适合这种「底座通用、价值在上层」的结构
(国家与要保密数据的公司,是否都必须自建 frontier model?)
对国家,以及需要数据私有、或要在敏感数据上继续微调的企业,一条路径是在现有底座上做私有/主权数据微调。另一条是看清下游:医疗等大行业可以把底座近似当商品,把价值做在上层应用
他明确不建议每个国家都去建 frontier model,这在他看来说不通;各国得找捷径,包括与跨国公司协作、做出自己的行业安排。Reid 把收束拉回 summit 主题:agency 不只是个人能动性,也是集体能动性,需要在 AI 时代一起为人类收益负责
这场收尾把「主权」从口号拉回菜单:企业侧用多家前沿供给套利,国家侧用微调与下游行业创造价值,开源侧承认滞后与风险并存。Demis 的底色仍与开场一致:能力竞赛再激烈,也要把 AI 先押在科学、健康与可纠偏工具上,而不是无审视地冲向闭环自我进化或有意识实体
(仅为个人学习笔记,不作为投资建议)
热门跟贴