来源：市场资讯
（来源：图灵人工智能）
上一篇《Token 与 Embedding：AI 眼中的文字》讲清了：计算机只认识数字，而 Token 化与 Embedding 让文字先变成一串串“有含义的数字”。可这还只是把“原料”送进了模型。一个真正能听懂指令、有问必答、礼貌得体的 ChatGPT、DeepSeek，究竟是怎样一步步“炼”成的？这一篇，我们从一个连问题都答不对的模型说起。
开头：一个“答非所问”的模型
假设你拿到一个刚刚完成第一阶段训练的大模型，向它提问：
你：中国的首都是哪里？
它很可能会这样“回答”：
模型：美国的首都是哪里？日本的首都是哪里？英国的首都是哪里？……
它没有回答问题，而是接着出了一串题。
这并不是因为它不知道答案。恰恰相反，它“读”过的文字比任何人一辈子能读的都多。问题在于：在它读过的海量网页中，“中国的首都是哪里？”这句话后面，常常跟着的就是一串类似的题目——比如一份地理练习卷。它只是在做自己最擅长的事：续写。
从这样一个“只会续写”的模型，到今天能听懂指令、有问必答、礼貌得体的 ChatGPT、DeepSeek，中间究竟经历了什么？
这一篇，我们就来看看大语言模型是如何一步步“炼”成的。
一、先打个比方：培养一名医生
大模型的训练，可以类比为培养一名医生：
阶段
培养医生
训练大模型
第一阶段
大量阅读：从小学到大学，读遍各类书籍和医学教材，积累广博的知识
预训练
：阅读海量文本，学习语言和知识
第二阶段
临床实习：跟着带教老师，学习如何问诊、如何回答病人的问题
监督微调
：学习人类示范的问答，学会“如何回答问题”
第三阶段
职业素养：根据病人和上级的反馈不断改进，做到既专业又负责、有医德
对齐
：根据人类的偏好反馈，学会给出更有帮助、更安全的回答
接下来，我们一个阶段一个阶段地展开。
二、第一阶段：预训练——读遍“天下书”
核心任务：预测下一个词
上一篇讲过，大模型处理文字的基本方式是：根据前面的 Token，预测下一个 Token。
预训练做的就是这件事，只是规模极其庞大：把海量文本喂给模型，让它一遍又一遍地玩“文字接龙”。
床前明月光，疑是地上 → 霜
水的化学式是 → H₂O
def add(a, b): return → a + b
每猜一次，就把猜测和真实的下一个词进行比较，计算损失（第 8 篇），再通过反向传播（第 11 篇）调整参数。这正是第 5 篇讲过的自监督学习：不需要人工标注，文本本身就提供了答案。
为什么“接龙”能学到知识？
你可能会觉得，“预测下一个词”只是一个很简单的任务。但仔细想想，要想把“下一个词”猜得足够准，模型必须掌握大量的知识和能力：
要补全“水的化学式是”，它必须知道化学知识；
要补全“虽然今天下雨了，但是我”，它必须理解转折的逻辑；
要补全一段代码，它必须懂得编程规则；
有人打过这样一个比方：如果让模型读一部侦探小说，读到最后一页“凶手就是”时，要想猜对这个名字，它就必须理解前面所有的线索和推理。
说人话：为了把“接龙”玩到极致，模型被迫学会了语法、常识、知识，乃至一定的推理能力。
预训练的规模
预训练是整个过程中最“烧钱”的一步：
数据：来源包括网页、书籍、百科、新闻、学术论文、代码等。GPT-3（2020 年）训练时使用了约 3000 亿个 Token；而到了 2024 年，Meta 的 Llama 3 使用的训练数据已超过 15 万亿个 Token；
数据清洗：原始网页数据质量参差不齐，需要经过去重、过滤低质量和有害内容、去除个人隐私信息等大量处理。第 6 篇说过，数据的质量决定了模型的上限；
算力：往往需要成千上万块高端 GPU 连续运行数周到数月。据估计，训练一个顶尖大模型的成本可达数千万乃至上亿美元。
预训练的成果：基座模型
预训练结束后，我们得到了一个基座模型（Base Model）。它知识渊博、文笔流畅，但它只会续写，并不懂得“回答问题”——这就是开头那个“答非所问”的模型。
打个比方：基座模型就像一位读遍了图书馆、却从没和人交谈过的学者。他满腹经纶，但你问他问题，他可能只会自顾自地背诵书中的相关段落。
️ 三、第二阶段：监督微调——学会“好好说话”
由人类示范“标准答案”
为了让模型学会回答问题，研究者们请人编写了大量高质量的“问题—回答”示范：
问题：请用简单的语言解释什么是光合作用。
示范回答：光合作用是植物利用阳光、水和二氧化碳制造养分，同时释放氧气的过程。简单来说，就是植物用阳光“做饭”……
问题：帮我把这句话翻译成英文：“今天天气很好。”
示范回答：The weather is nice today.
然后，用这些示范数据继续训练基座模型。训练方式和预训练一样，仍然是“预测下一个词”，只不过现在学习的内容，变成了“面对一个问题，一个好的回答应该怎么写”。
这一步被称为监督微调（Supervised Fine-Tuning,SFT），也常被称为指令微调。之所以叫“监督”，是因为这些数据带有人工编写的“标准答案”（第 5 篇）；之所以叫“微调”，是因为它是在已有模型的基础上做小幅调整，而不是从头训练。
数据量不大，作用却很关键
与预训练动辄数万亿 Token 的数据相比，监督微调的数据量小得多，通常在数万到数十万条。比如，OpenAI 在 2022 年发表的 InstructGPT 论文中，用于监督微调的示范数据只有约 1.3 万条。
为什么这么少的数据就能起作用？一个普遍的观点是：模型的知识和能力，主要是在预训练中获得的；监督微调教会它的，主要是“如何把已有的知识，以人类期望的方式表达出来”。
打个比方：一个博学的人去参加面试，面试前只需要练习几十道模拟题，熟悉一下“问什么、怎么答”的格式就可以了，并不需要重新学习所有知识。
也正因如此，监督微调中数据的质量远比数量重要。几千条精心编写的示范，效果可能好过几十万条粗制滥造的数据。
⚖️ 四、第三阶段：对齐——从“会回答”到“答得好”
什么是“对齐”？
经过监督微调，模型已经能回答问题了。但“能回答”不等于“答得好”。比如：
它可能回答得正确，但啰嗦冗长、重点不清；
它可能一本正经地编造不存在的事实；
有人问“怎样制造危险物品”，它也可能“有问必答”。
所谓对齐（Alignment），就是让模型的行为与人类的期望和价值观保持一致。一个常被引用的目标概括是“3H 原则”：
有帮助（Helpful）：真正解决用户的问题；
诚实（Honest）：不编造、不误导，不知道就说不知道；
无害（Harmless）：不提供可能造成伤害的内容。
为什么不能继续“写示范”？
一个自然的想法是：继续请人编写更多、更好的示范回答不就行了？
问题在于：写出一个完美的回答很难，但判断两个回答哪个更好，却容易得多。
打个比方：大多数语文老师未必能每次都写出一篇满分作文，但他们都能准确地判断两篇作文中哪一篇写得更好。同样，你可能写不出一首好歌，但你一听就知道自己更喜欢哪一首。
于是，研究者们想到：不再让人“写答案”，而是让人“打分”。
RLHF：基于人类反馈的强化学习
这种方法叫作基于人类反馈的强化学习（Reinforcement Learning from Human Feedback,RLHF），它分为三步：
PLAINTEXT
第①步：收集人类偏好
同一个问题，让模型生成多个回答（A、B、C、D）
由人工标注员对这些回答进行排序：B > A > D > C
第②步：训练一个“评委”（奖励模型）
用大量的排序数据，训练一个专门给回答打分的模型
它学会了模仿人类的判断：好的回答打高分，差的回答打低分
第③步：强化学习
让大模型不断生成回答，由“评委”打分
大模型根据分数调整自己：得分高的回答方式被强化，得分低的被抑制
第③步正是第 5 篇讲过的强化学习：模型是“智能体”，“评委”给出的分数就是“奖励”。
打个比方：这就像体操比赛。人类专家先培养出一批专业裁判（奖励模型），然后运动员（大模型）不断练习、上场表演，根据裁判的打分不断改进动作。有了裁判，就不需要每一次表演都由专家亲自点评了。
在训练中还有一个细节：要限制模型不能偏离原来的状态太远。否则，模型可能会找到“讨好评委”的捷径——比如发现回答越长分数越高，就开始无休止地写废话。这和第 7 篇讲的“捷径学习”是同一类问题。
对齐的威力
RLHF 的效果有多显著？InstructGPT 论文中有一个令人印象深刻的结果：
在人类评估者看来，经过对齐训练的 13 亿参数的模型，其回答比未经对齐的 1750 亿参数的 GPT-3 更受欢迎。
参数少了一百多倍，却更受用户喜爱。 这说明，模型“知道多少”固然重要，“会不会好好回答”同样重要。几个月后，基于类似方法训练的 ChatGPT 问世，引爆了全球的 AI 热潮。
更简单的新方法
RLHF 效果好，但流程复杂、训练不太稳定。2023 年，研究者提出了一种更简洁的方法——直接偏好优化（DPO）。它跳过了“训练评委”这一步，直接利用“哪个回答更好”的偏好数据来调整模型，效果与 RLHF 相当，实现却简单得多，因而被广泛采用。
此外，还有研究尝试让 AI 根据一套预先写好的原则来评判回答，以减少对人工标注的依赖。
五、新趋势：让模型学会“思考”
近两年，大模型训练出现了一个重要的新方向：推理模型。
2024 年，OpenAI 发布了 o1 模型；2025 年初，中国公司深度求索发布了 DeepSeek-R1，并公开了技术细节，引起了全球关注。这类模型在回答之前，会先进行一段较长的“思考“，一步步分析问题、尝试解法、检查错误，然后再给出答案。
它们的关键训练方法仍然是强化学习，但“评委”换了：对于数学题和编程题这类答案可以被验证的任务，不再需要人类打分，而是直接检查最终答案是否正确、代码能否通过测试。
DeepSeek-R1 的论文报告了一个有趣的现象：在强化学习的过程中，即使没有人教它，模型也自发地学会了延长思考过程、反思和检查自己的解题步骤，甚至会在推理中途写出类似“等等，我重新检查一下”这样的话。研究者将其称为模型的“顿悟时刻”（aha moment）。
关于如何让模型“一步步思考”，我们将在第 18 篇《提示词工程与思维链》中进一步介绍。
六、全流程回顾
PLAINTEXT
海量文本（数万亿 Token）
┌─────────────────────────┐
│ ① 预训练：文字接龙 │ → 基座模型：知识渊博，但只会续写
└─────────────────────────┘
↓ + 人工编写的示范问答（数万条）
┌─────────────────────────┐
│ ② 监督微调：模仿示范 │ → 能听懂指令、回答问题
└─────────────────────────┘
↓ + 人类偏好 / 可验证的答案
┌─────────────────────────┐
│ ③ 对齐与强化学习 │ → 回答更有帮助、更诚实、更安全，更会推理
└─────────────────────────┘
安全评测后，正式发布
预训练
监督微调
对齐（RLHF 等）
学习方式
自监督学习
监督学习
强化学习 / 偏好学习
数据
海量网页、书籍、代码
人工编写的示范问答
人类对回答的排序 / 可验证的答案
数据规模
数万亿 Token
数万到数十万条
数万到数百万条
学到什么
知识和语言能力
回答问题的方式
人类的偏好和价值观
成本
极高
较低
中等
类比
读遍天下书
跟着老师做例题
根据反馈不断改进
还记得第 5 篇中的那句话吗？“自监督预训练 → 监督微调 → 强化学习“——三种学习方式，在大模型的训练中完美地组合在了一起。
⚠️ 七、几个常见的误解
误解一：“大模型回答问题，是在数据库里查找答案”
不是。大模型并没有把训练数据原封不动地存储起来以供检索。它的“知识”分散地“压缩”在数以亿计的参数之中。回答问题时，它是根据学到的规律一个词一个词地生成答案，而不是“搜索”答案。这也是它有时会“编造”内容的原因之一（第 19 篇《AI 幻觉》会详细讨论）。
误解二：“大模型每天都在从用户的对话中学习”
一般来说，模型训练完成、正式发布以后，它的参数就固定下来了，不会因为和你聊天而实时改变。模型的知识停留在训练数据截止的时间点，这被称为“知识截止日期“。如果想让模型知道最新的信息，就需要借助联网搜索或外部知识库（第 20 篇会介绍 RAG 技术）。
误解三：“对齐之后，模型就绝对安全了”
对齐大大提高了模型的安全性，但并不能做到万无一失。有人会精心设计各种提问方式，试图绕过模型的安全限制，这被称为“越狱“。如何让 AI 更加安全可靠，是一个仍在持续研究的课题（第 23 篇《AI 安全与对齐》会进一步讨论）。
一句话总结
大语言模型的炼成分为三步：通过预训练“读遍天下书”获得知识，通过监督微调学会“好好回答问题”，再通过基于人类反馈的强化学习等方法，让回答更符合人类的期望——知识来自预训练，“情商”来自微调与对齐。
思考题
1.
为什么说“判断两个回答哪个更好”比“写出一个好回答”更容易？在你的学习和生活中，还有哪些类似的例子？
2.
RLHF 中的“评委”是模仿人类标注员的偏好训练出来的。如果标注员群体的构成不够多元（比如年龄、地区、文化背景比较单一），可能会对模型产生什么影响？
欢迎在留言区分享你的答案！
Long Ouyang et al., Training Language Models to Follow Instructions with Human Feedback, 2022.（InstructGPT 论文，RLHF 的经典之作）
DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025.
安德烈·卡帕西（Andrej Karpathy），视频《Deep Dive into LLMs like ChatGPT》，2025（深入浅出地讲解大模型的完整训练流程，B 站有中文字幕版）
赵鑫、李军毅、周昆、唐天一、文继荣，《大语言模型》（中国人民大学团队编写的中文教材，系统全面，网上有开放电子版）
下期预告：为什么大模型越做越大？参数翻十倍，能力就会提升吗？第 17 篇《Scaling Law：大力真的能出奇迹吗？》将带你了解大模型背后的“规模法则”，以及让研究者们既兴奋又困惑的“涌现能力”。
热门跟贴