2003年，说「计算机能学习」还被视为异端。17岁的伊利亚·苏茨克维（Ilya Sutskever）就在那一年进入多伦多大学，与辛顿（Hinton）合作研究机器学习。这段起点，后来被他用来解释一个更大的问题：模型到底有没有理解世界。

打开网易新闻 查看精彩图片

他复盘了AlexNet的逻辑：人脑本身就是运行缓慢的神经元网络，那么足够大、足够深的网络，配上足够大的标注数据和快速卷积内核，成功就是必然的。Transformer论文发表的第二天，团队就转向了这条路线，自监督「预测下一个词」一路做到了GPT-3。

外界常说模型只学到了统计规律。伊利亚不同意。他的判断是：要把数据预测好、压缩好，就需要越来越了解产生这些数据的世界。模型学到的是世界在文字空间投影后的压缩表征，不只是人的想法与感受，还包括人所处的环境、人与人的互动，以及人可能遇到的处境。

一个常被引用的例子是颜色。仅靠文字，模型也能学到紫色更接近蓝色而非红色。视觉只是让这类学习更快，多模态有益，但并非必需。他因此认为，用心理学的语言描述模型行为已经开始合适。

针对「自回归方法无法预测高维分布」的论断，他直接反证：IGPT处理像素、把像素聚成大像素生成图像，以及Google的图像生成研究，都说明自回归Transformer完全能胜任。CLIP与DALL·E证明多模态方向值得探索，但不必二选一。

幻觉的根源，他归到分工上。预训练阶段的目标是让模型学到关于世界的一切，并不直接训练它答得准确；ChatGPT在预训练之后靠基于人类反馈的强化学习（RLHF）纠正输出，逐次告知哪些回答不合适。

他描述的可行形态是：用户对错误回答的反应直接回流进训练循环，人工教师配合AI工具做最终校验，本质是一个教育过程。「我觉得这种方法有相当大的机会彻底解决幻觉问题。」

谈到规模，他给《苦涩的教训》泼了冷水：规模本身不产生回报，必须先有一个能从规模扩大中受益的对象。深度学习的突破，在于人类第一次造出了值得用算力去扩大的东西——又大又深的神经网络加上大规模数据。此前大型机集群只能做天气或物理模拟，没有规模收益。

他强调「你扩大的是什么」仍然关键。未来可能需要对现有对象做改动才能继续受益，而不是无条件地只管扩大。

下一阶段的重点，他放在数据效率与可靠性上：模型更可靠、更可控，用更少的数据和指令学得更快。他也提醒，训练后期模型学得已经不慢，进一步提升仍有空间。

对「模型局限」的判断，他要求保持时间上的谨慎：两年前人们同样自信地谈论模型局限，结论却与今天完全不同，今天说的局限两年后未必还在。

更远处，他设想了一种民主形式：公民向神经网络表达意愿，由系统汇总信息，明确我们究竟希望这样的系统怎么做。但他同时承认，任何复杂局面都超出个人理解范围。