四小时,超过两年。这不是某个新模型的跑分对比,而是David Silver用来证明一条AI路线可行的核心证据。他最近在Sequoia Capital播客Training Data里,和Lasse Espeholt一起把这条路线讲透了。
两人现在的身份是Ineffable Intelligence联合创始人。Silver的信念从博士阶段研究围棋时就定下了:实现AI的正确路径是从经验中学习、让系统自主发现知识,而不是依赖人类数据和语言。
从AlphaGo到AlphaZero的那次转身
Silver拿AlphaGo到AlphaZero的转变当证据。AlphaGo耗时约两年,研究者始终参与改进;AlphaZero放弃人类数据后,国际象棋只用四小时就超过了此前成果,围棋约两天。
他的判断很直接:越依赖人类数据和互联网知识,越难发现能带系统进入全新知识领域的算法。所以宁可在短期牺牲性能,换取大得多的潜力。放弃人类数据先验,在他看来是通往超级智能的必要选择,不是权宜之计。
不给AI定义"科学",让它自己长出来
他们不把科学、语言逐项写进奖励函数。做法是给一个简单明确的优化目标,放进有许多可学之物的复杂环境。
Silver用进化和人类发展类比:追求适应度,或者协作、交易这类相对简单的目标,最终带出了交流、算术、工具、基础科学和数学。这类环境被称作"熔炉",重点是从物理引擎或大量互相作用的agent中产生涌现复杂性,而不是手工设计一堆谜题。
他提出的另一个概念是"超级学习器"——给agent极其简单的优化目标,把它放进具有涌现复杂性的环境,协作、语言、算术、工具与科学等能力可能自然生长。
模拟:最快的地方,也是最安全的试验场
模拟可以无限并行、结果完全可复现,还能通过图灵完备性表达计算、经济、语言等任意有意思的结构。
Silver主张先在模拟中建立"超级智能科学",理解多个超级智能如何和平互动、需要什么样的结构和调控手段,并把模拟中积累的证据作为进入现实世界的关卡。他也承认有些东西只能在现实世界表达,比如量子计算。
关于安全,他指出基于人类语言的监测与对齐正逼近极限。agent变强后会突破这些先验约束,出现长达百万字的推理、心里想一套行动上做另一套。
他给出的方向包括:
- 影子行动——先观察若允许其在现实中行动会怎么做,但暂不执行
- 让其他超级智能担任监测者
- 用正则化约束其对世界的影响
他强调,只关注语言方法会带来麻烦。"认为人类语言就是终点,或者就是最佳推理方式,这种看法有点天真。"
20人团队,一年与三年的预测
团队约20人,刻意保持小规模以提高人均算力。年底将成为GCP上最大的Vera Rubin集群首批客户。该架构可把整个机架当作一台机器,节点间带宽高,适合强化学习快速迭代与模拟,避免额外依赖大量CPU。
Silver说一年内会出现证明路线可行的有力证据,并把实现超级智能的预期从三到五年缩短到三年,理由是编程agent能加快研究进度。
"我觉得一年之内我们就会看到非常有力的证据,证明我们走在正确的路上。"
至于那句被反复引用的话——给agent一个非常简单明确的优化目标,再把它放进一个非常复杂的环境里,里面有很多东西可以学习,看看自然界是怎么运作的。这大概就是整条路线最朴素的注脚。
热门跟贴