人类彼此交谈的历史至少已有10万年。在这段漫长的时间里，世界上只有一种存在能够把人类语言学到近乎完美流利：人类的孩子。现在出现了第二种。ChatGPT发布不过四年，我们已经习惯了与手机和电脑自然对话。Claude、DeepSeek和ChatGPT等大语言模型，语言能力已经足够流畅，甚至可以相当逼真地模拟人类交流。
但问题在于，机器学会语言所需要的数据，远远超过人类。一个大语言模型在训练中接触的文字量，可以达到一个人学习母语过程中所接触语言量的数万乃至数十万倍。而孩子通常在一岁左右，就已经开始掌握语言。
数据效率鸿沟：一个同时困扰两群研究者的难题
斯坦福大学认知科学家迈克尔·C·弗兰克用一个夸张但形象的比喻形容这种差距：“我们仍然需要烧掉一整片森林、刮遍人类知识的全部积累，才能在机器上重现一个孩子在客厅里一年左右就能完成的发展里程碑。”这种差距被称为数据效率鸿沟。它提出了一个同时困扰认知科学家和AI研究者的问题：为什么孩子能够用如此有限的数据，学会如此复杂的语言？
过去十年，大语言模型能力提升的一条核心路径，就是不断扩大模型和训练数据规模。Meta两年前发布的Llama 3.1，在预训练阶段使用了15万亿个token。乔治城大学认知科学家、语言学家伊桑·戈特利布·威尔科克斯估计，最前沿模型使用的数据量可能还要高出一个数量级。
但互联网数据终究有限。随着高质量文本逐渐被消耗，可供模型继续扩张的数据资源可能在未来十年开始逼近瓶颈。孩子却提供了另一种可能。一个成长在语言环境丰富家庭里的孩子，到青春期前大约会听到1亿个词；如果加上阅读，到20岁时接触的语言总量可能达到3亿词左右。这个数字与现代大模型相比，仍然小得惊人。
威尔科克斯形容，Claude接触过的语言量，大致相当于一整座城市一代人所经历的语言总和。如果把训练现代大模型用过的文字全部打印出来，纸张堆起来可以超过国际空间站；而一个孩子青春期前接触的1亿个词，堆起来只有大约20米高。
逆向工程儿童语言学习，能否造出更省数据的AI
因此，越来越多研究者开始尝试逆向工程儿童学习语言的方式。如果能够弄清楚孩子为何可以从有限经验中快速学习，也许就能设计出数据效率更高的AI模型。这不仅可能降低大模型对海量训练数据的依赖，也有助于视频学习、机器人学习，以及为数据稀缺的少数语言训练AI系统。
与此同时，AI也正在反过来成为研究人类认知的实验工具。科学家可以把关于儿童学习的不同理论写进模型，再观察它们是否真的能够从有限数据中学会语言。这或许有助于回答认知科学中长期存在的一些问题：人类是否天生拥有某种“语言本能”？仅凭经验，一个孩子能否学会语言？我们理解语言的方式，究竟源自人类特殊的生物结构，还是反映了某些更普遍的学习规律？
因此，孩子和大模型之间巨大的数据效率差距，表面上是一个AI工程问题，背后追问的却是一个更古老的问题：人类究竟是怎样学会语言的？
孩子为什么能用更少的数据学会语言？
大多数人只有在成年后学习第二语言时，才真正意识到语言有多难。过去完成时、卷舌音、鼻化元音、属格、短语动词，甚至名词阴阳性，都足以让人头疼。但孩子学习母语似乎轻松得多。幼儿通常只需要听过大约1000万到3000万个词，就开始说出符合语法的句子。“这简直像奇迹一样。”斯坦福大学认知科学家弗兰克说，“如果你只用3000万词训练GPT-2，得到的是一个胡言乱语生成器，而不是一个孩子。”
孩子究竟是怎么做到的，至今仍是一个谜。人类语言的句法并不简单。句子可以递归、嵌套，仅靠有限的词汇，人们就能组合出近乎无限的表达。问题在于，孩子实际接触到的语言只是其中很小一部分，却能够从有限输入中推断出背后的规则。
20世纪50年代，MIT语言学家诺姆·乔姆斯基对此提出了一个影响深远的解释：人类可能天生就具备某些语言规则。当时，心理学家B.F.斯金纳认为，语言主要依靠环境刺激、模仿和强化习得。乔姆斯基则提出著名的“刺激贫乏论”：语言，尤其是句法结构如此复杂，而儿童接触到的样本又如此有限，仅凭经验似乎不足以解释他们为何能够掌握语法。
加州大学欧文分校语言学家理查德·富特雷尔将乔姆斯基的核心观点概括为：语言不可能仅仅依靠统计规律学会。这一思想后来发展为“生成语法”，并长期主导美国语言学界，也影响了早期人工智能研究。20世纪50至60年代，研究人员试图把语法规则直接写进计算机程序，让机器按照明确规则理解和生成语言。这种符号主义路线持续了几十年，却始终没能解决大规模自然语言处理问题。
神经网络兴起，统计学习路线意外翻盘
真正的转折发生在神经网络重新兴起之后。进入2010年代，随着算力提升和互联网数据爆发，机器开始能够直接从海量文本中学习语言规律。2018年和2019年，基于Transformer的BERT和GPT-2相继出现，证明大规模统计学习确实能够处理复杂语言。2022年ChatGPT的成功，则让这一点变得更加明确。
大语言模型并不是人脑。它们没有人类大脑经过进化形成的生物学结构，本质上仍然是强大的统计学习系统。但恰恰是这种过去被认为“不可能真正学会语言”的系统，最终学会了句法，能够写诗、对话，并通过复杂的语法测试。
“无论你对AI多么怀疑，有一点大家都很惊讶：这些模型确实学会了语法。”加州大学伯克利分校发展心理学家艾莉森·戈普尼克说，“很多人此前并不认为，仅仅观察大量语言的统计规律，就能够推断出语法。”
这也让一个更关键的问题浮现出来：既然机器可以依靠海量数据学会语言，那么，如果只给它孩子实际接触到的数据量呢？能不能训练出一个只接触数千万词，却仍然真正掌握语言的“婴儿尺度”模型？
把大模型缩小到“婴儿尺度”
加州大学圣迭戈分校语言学家亚历克斯·沃斯塔特还记得BERT和GPT-2刚出现时，语言学界受到的冲击。2019年，他还是纽约大学的博士生。语言模型仅靠大量文本就能学会英语，这件事本身已经对乔姆斯基式语言理论提出了挑战。但不少语言学家仍然怀疑，大语言模型究竟能不能帮助我们理解人类如何习得语言。最主要的质疑是：模型使用的数据实在太多了。
“过去几乎没有人在接近人类的数据规模上训练语言模型，更别说出现让人印象深刻的结果。”沃斯塔特说。但在他看来，这恰恰值得尝试。如果把关于儿童语言学习的不同假设放进模型，再观察它们在有限数据下究竟能学到什么，也许就能反过来检验这些理论。
2022年，沃斯塔特与AI研究者莱舍姆·霍申等人发起了BabyLM，一项专门研究“小数据语言学习”的年度竞赛。BabyLM要求参赛模型只能使用接近儿童语言经验规模的数据：标准赛道是1亿词，幼儿尺度赛道只有1000万词。训练材料包括儿童读物、日常对话、电影字幕、维基百科，以及真实的亲子对话记录。
训练完成后，模型还要接受一系列语言能力测试。这项竞赛的核心目标，不是造出更强的通用模型，而是把数据规模压到人类儿童的水平，看看模型究竟还能不能学会语言。如果答案是否定的，那就说明数据效率鸿沟可能来自人类特有的某些机制；如果答案是肯定的，那么统计学习本身或许就足以解释儿童的语言习得。
BabyLM的出现，把一场持续了半个多世纪的语言学争论，直接搬进了模型训练的实验场。乔姆斯基认为语言能力有先天基础，斯金纳一派则强调环境与经验。如今，研究者终于有机会用同一套数据、同一套测试，去比较不同理论假设下的模型表现。
这场实验的意义并不局限于语言学。如果小数据模型能够在有限语料中学会句法，那么为少数语言训练AI系统的成本就可能大幅下降。对于视频学习、机器人学习等数据获取更困难的领域，理解“如何用更少数据学会复杂结构”同样至关重要。
孩子和大模型之间的数据效率差距，因此不再只是一个工程难题。它把两个看似无关的问题连在了一起：一个关于人类心智的古老谜题，和一个关于未来AI效率的现实挑战。研究者们正在尝试用模型回答前者，也希望借此改变后者的走向。
热门跟贴