来源：市场资讯
（来源：图灵人工智能）
上一篇《循环神经网络（RNN）：让机器拥有“记忆”》讲清了机器怎样像接力赛一样，把“记忆”一个字一个字地传下去。可这条“接力”路线有两个天生的弱点：信息传得越远越容易衰减，而且必须排队、无法并行。这一篇，我们来看一个“换思路”的方案——不排队、不传话，让每个词直接看向所有词。它，最终催生了 ChatGPT。
开头：这个“它”指的是谁？
请读下面两句话，并判断每句话中的“它”指的是什么：
① 奖杯放不进行李箱，因为它太大了。 ② 奖杯放不进行李箱，因为它太小了。
你一定能立刻答出：第①句的“它”是奖杯，第②句的“它”是行李箱。
两句话只差一个字，“它”指代的对象却完全不同。你之所以能判断正确，是因为在读到“它”的时候，你的注意力同时关联到了“奖杯”“行李箱”“大”“小”这几个关键词，并根据常识做出了推理。
这类“代词指代”问题，曾经是 AI 领域公认的难题，专门被用来测试机器是否真正“理解”了语言。对于上一篇介绍的 RNN 来说，它必须把前面的信息压缩进“记忆”里一步步往后传，很难灵活地在句子的不同部分之间建立联系。
那么，能不能让机器像人一样，在读到每一个词时，都能直接“看向”句子中所有相关的词？
这就是注意力机制（Attention Mechanism）的核心思想。而基于这一思想构建的 Transformer，彻底改变了人工智能的发展方向——今天的 ChatGPT、DeepSeek、文心一言、通义千问……几乎所有大模型，都建立在它的基础之上。
一、从人类的注意力说起
鸡尾酒会效应
想象你身处一个热闹的聚会，周围人声嘈杂、音乐震耳。但当你和朋友聊天时，你依然能听清对方说的每一句话，而自动“屏蔽”了周围的噪音。更神奇的是，如果远处有人喊了一声你的名字，你会立刻注意到。
心理学家把这种现象称为“鸡尾酒会效应“。它说明，人类的大脑并不会平等地处理所有信息，而是会有选择地把注意力集中在最相关的部分。
阅读中的注意力
阅读时也是如此。当你读到“它太大了”中的“它”时，你并不会平等地回顾前面每一个字，而是会重点关注“奖杯”和“行李箱”这两个可能的指代对象，对“放”“不”“进”这些字则几乎不在意。
说人话：注意力就是“抓重点”——在大量信息中，找出与当前任务最相关的那部分，并给予更多的关注。
二、注意力机制：让每个词“看向”所有词
回顾：RNN 的困境
上一篇我们讲过，RNN 处理句子时，像接力赛一样把“记忆”从第一个词传到最后一个词。这带来两个问题：
1.
距离越远，关系越难建立：句首的词要影响句尾的词，信息必须经过中间每一步的传递，容易衰减；
2.
只能排队，无法并行：必须先处理完前面的词，才能处理后面的词。
注意力的思路：直接“打电话”
注意力机制换了一种思路：不再一站一站地传话，而是让每一个词都可以直接和句子中的任何一个词“打电话”。
无论两个词相隔多远，它们之间的联系都只需要“一步”就能建立。 这从根本上解决了长距离依赖的问题。
三、注意力是怎么计算的？Q、K、V 的故事
注意力机制中有三个核心概念：查询（Query,Q）、键（Key,K）、值（Value，V）。这三个词听起来很抽象，我们用一个“图书馆找书“的比喻来理解。
图书馆找书
假设你要写一篇关于“人工智能伦理”的课程论文，于是去图书馆找资料：
概念
在图书馆中
含义
查询（Q）
你脑子里的问题：“我需要关于 AI 伦理的资料”
我在找什么？
键（K）
每本书书脊上的标签或书名
我是关于什么的？
值（V）
每本书里的具体内容
我能提供什么信息？
找书的过程是这样的：
1.
匹配：你拿着自己的问题（Q），逐一对比每本书的标签（K），看看它们有多相关。《人工智能伦理导论》非常相关，《机器学习基础》有点相关，《中国烹饪大全》完全不相关；
2.
分配注意力：根据相关程度，决定每本书要花多少精力去读。相关的多读，不相关的不读；
3.
汇总：把各本书的内容（V），按照分配的精力加权综合起来，形成你需要的资料。
放回句子里
在注意力机制中，句子里的每一个词都会同时扮演这三种角色，各自生成一个 Q、一个 K 和一个 V（它们都是通过训练学出来的）。
以“它”这个词为例：
1.
“它”提出查询（Q）：“我是一个代词，我需要找到我指代的对象，它应该是一个能‘太大’的东西。”
2.
每个词亮出自己的键（K）：“奖杯”说“我是一个物体”；“行李箱”说“我也是一个物体，是容器”；“因为”说“我是一个连接词”……
3.
计算相关度：把“它”的 Q 与每个词的 K 进行比较，得到一组相关度分数；
4.
转换成注意力权重：把分数转换成加起来等于 1 的权重（这一步用到一个叫 Softmax 的函数）；
5.
加权汇总：按照这些权重，把各个词的值（V）综合起来，作为“它”这个词融合了上下文之后的新含义。
动手算一算（示意）
假设“它”与三个词的相关度分数如下，经过 Softmax 转换后：
相关度分数
注意力权重
奖杯
2.0
约 66%
行李箱
1.0
约 24%
因为
0.1
约 10%
合计
100%
（注：以上数字仅为便于理解的示意，真实模型中的数值由训练自动得出，而且会同时考虑句中的所有词。）
于是，“它”的新含义中，约三分之二来自“奖杯”。模型由此“理解”了：这里的“它”，很可能指的是奖杯。
如果把句子换成“它太小了“，由于”小“与”容器（行李箱）“的关联更强，注意力权重就会转向“行李箱”。
说人话：注意力机制就是让每个词都“环顾四周”，看看句子里哪些词和自己最相关，然后有侧重地吸收它们的信息，从而更准确地理解自己在这句话中的含义。
四、自注意力与多头注意力
自注意力：句子“自己看自己”
在上面的例子中，Q、K、V 都来自同一个句子，句子中的每个词都在关注同一句话中的其他词。这种注意力叫作自注意力（Self-Attention）。
它最大的优点是：所有词可以同时计算。 每个词“环顾四周”的过程互不依赖，不需要像 RNN 那样排队等待。这就像从“一个收银台排长队“变成了”所有顾客同时自助结账“，完美契合了 GPU 擅长并行计算的特点。
多头注意力：从多个角度理解
一句话中，词与词之间的关系是多种多样的。比如：
“小明在图书馆认真地读一本关于人工智能的书。”
从语法角度看：“小明”是主语，“读”是谓语，“书”是宾语；
从修饰关系看：“认真地”修饰“读”，“关于人工智能的”修饰“书”；
从场景角度看：“图书馆”与“读书”密切相关。
只用一组注意力，很难同时捕捉这么多种关系。于是，Transformer 采用了多头注意力（Multi-Head Attention）：同时使用多组独立的注意力（称为多个“头”），每个头可以关注不同类型的关系，最后再把它们的结果综合起来。
打个比方：这就像一篇论文请了多位审稿专家同时评审——一位关注语言表达，一位关注逻辑结构，一位关注研究方法。每位专家各有侧重，综合起来的意见就更加全面。
研究者在分析训练好的模型时发现，不同的“头”确实会自发地形成不同的“分工”，有的关注相邻的词，有的关注代词的指代对象，有的关注句法结构。这些分工同样不是人为设计的，而是模型自己学出来的。
️ 五、一个小问题：谁先谁后？
自注意力有一个“副作用”：因为每个词都同时看向所有词，它本身并不知道词的先后顺序。
对于纯粹的自注意力来说，“狗咬人”和“人咬狗”包含的词完全一样，看起来没有区别。但第 13 篇说过，顺序对语言至关重要！
解决办法是位置编码（Positional Encoding）：在把每个词送入模型之前，给它附加一个表示位置的信息，告诉模型“我是第 1 个词”“我是第 2 个词”……
打个比方：这就像给电影院的每位观众发一张带座位号的票。虽然大家同时入场，但每个人都知道自己坐在第几排第几号，彼此的相对位置也就清楚了。
六、Transformer 的整体结构
那篇改变一切的论文
2017 年，谷歌的八位研究者发表了一篇论文，标题只有五个英文单词：
《Attention Is All You Need》（注意力就是你所需要的一切）
这个标题化用了披头士乐队的名曲《All You Need Is Love》，它的核心主张是：完全抛弃 RNN 的循环结构，只用注意力机制来构建模型。 论文提出的新架构，被命名为 Transformer。
基本构件
Transformer 的结构看起来复杂，但它是由几种我们已经学过的“积木”搭成的：
图 5 ｜ Transformer：位置编码给每个词发“座位号”，再用多头自注意力、前馈网络、残差连接等“积木”一层层搭起来。
每一个 Transformer 模块包含：
1.
多头自注意力：让每个词吸收上下文信息（本篇的主角）；
2.
前馈神经网络：对每个词的信息做进一步加工（就是第 10 篇讲的普通神经网络）；
3.
残差连接和归一化：保证信息和梯度能够顺畅地传递，让深层网络可以被有效训练（第 11 篇讲过）。
把这样的模块一层层堆叠起来，就构成了完整的 Transformer。原始论文中堆叠了 6 层，而今天的大模型往往堆叠了几十层甚至上百层。
原始的 Transformer 是为机器翻译设计的，所以它和上一篇讲的 Seq2Seq 模型一样，分为编码器（读懂原文）和解码器（生成译文）两部分。
惊艳的效果
在论文中，Transformer 在英德、英法翻译任务上都刷新了当时的最好成绩，而训练所需的时间和计算成本却远远低于此前的最佳模型。其中较大的模型在 8 块 GPU 上训练了约 3.5 天——这在当时已经是非常高效的了。
七、为什么说 Transformer“改变了一切”？
1. 可以并行，可以“做大”
Transformer 能够充分利用 GPU 的并行计算能力，这意味着：可以用更多的数据、更多的算力，训练更大的模型。
这一点至关重要。后来人们发现，Transformer 模型的规模越大、训练数据越多，能力就越强，而且这种提升在很大范围内都相当稳定、可预测（这就是第 17 篇要讲的“Scaling Law”）。Transformer 为“大模型”时代铺平了道路。
2. 一种架构，通吃各种任务
Transformer 最初是为翻译设计的，但人们很快发现，它几乎可以处理任何能被表示为“序列”的数据：
图 6 ｜ 一种架构，通吃各种任务：从文本、图像、语音到视频、生物，并衍生出“只用编码器”“只用解码器”“编码器 + 解码器”三大家族。
领域
应用
文本
翻译、写作、问答、编程（ChatGPT、DeepSeek 等）
图像
图像识别（ViT，第 12 篇提到过）、图像生成
语音
语音识别、语音合成
视频
视频理解与生成
生物
蛋白质结构预测（2024 年诺贝尔化学奖成果 AlphaFold 的核心也用到了注意力机制）
在 Transformer 出现之前，处理图像用 CNN，处理语言用 RNN，各个领域“各自为政”。而 Transformer 让不同领域第一次有了一种通用的架构，这也为后来能够同时理解文字、图片、声音的多模态大模型奠定了基础。
3. 三大家族
在 Transformer 的基础上，衍生出了三类主要的模型：
类型
代表
擅长
训练方式
只用编码器
BERT（谷歌，2018）
理解
：文本分类、信息抽取、搜索
做“完形填空”：遮住句子中的某些词，让模型猜
只用解码器GPT 系列
（OpenAI,2018 起）
生成
：写作、对话、编程
做“续写”：根据前文预测下一个词
编码器 + 解码器
T5（谷歌，2019）
转换
：翻译、摘要
把各种任务统一成“输入文本 → 输出文本”
其中，“只用解码器“的 GPT 路线后来大放异彩。今天绝大多数主流的大语言模型，采用的都是这种结构。
小知识：ChatGPT 中的 GPT，全称是 Generative Pre-trained Transformer，即“生成式预训练 Transformer“。那个”T“，指的正是今天介绍的 Transformer。
4. 一篇论文的影响力
《Attention Is All You Need》已成为人工智能历史上被引用次数最多的论文之一，引用量超过十万次。有意思的是，这篇论文的八位作者后来全部离开了谷歌，其中多位创办了自己的人工智能公司。
⚠️ 八、Transformer 的“烦恼”
Transformer 并非完美无缺。它最大的问题是：输入越长，计算量增长得越快。
原因在于自注意力的工作方式：每个词都要和所有词计算一次相关度。
一句话有 10 个词，需要计算 10 × 10 = 100 次；
一篇文章有 1000 个词，需要计算 1000 × 1000 = 100 万次；
一本书有 10 万个词，需要计算约 100 亿次。
长度增加 10 倍，计算量增加约 100 倍。 这就是为什么大模型都有一个“上下文窗口“（Context Window）的限制——一次能处理的文本长度是有上限的（第 15 篇会进一步讨论）。
为了突破这个限制，研究者们想出了各种办法：优化注意力的计算方式以节省显存和时间、只让每个词关注一部分最相关的词、借鉴 RNN 思想设计新的架构（上一篇提到的 Mamba、RWKV 等）。今天主流大模型的上下文窗口，已经从最初的几千个词扩展到了数十万甚至上百万个词。
九、第三单元回顾：从神经元到 Transformer
到这里，我们的第三单元“神经网络与深度学习”就全部结束了。让我们把这五篇的内容串起来：
PLAINTEXT
第 10 篇 神经元与神经网络 → 基本积木：加权求和 + 激活函数
第 11 篇 反向传播 → 学习引擎：高效计算每个参数的梯度
第 12 篇 卷积神经网络 CNN → 学会"看"：局部扫描、层层抽象
第 13 篇 循环神经网络 RNN → 学会"记"：按顺序处理、传递记忆
第 14 篇 注意力与 Transformer → 学会"关注"：全局关联、并行计算
大模型时代
一句话总结
注意力机制让每个词都能直接“看向”句子中所有相关的词，并有侧重地吸收信息；完全基于注意力构建的 Transformer 既能捕捉长距离关系，又能并行计算，成为了今天几乎所有大模型的基石。
思考题
1.
请用“图书馆找书”或你自己想到的比喻，向一位没学过 AI 的同学解释：注意力机制中的查询（Q）、键（K）、值（V）分别是什么意思？
2.
为什么说 Transformer 的“可以并行计算”这一特点，对大模型的诞生至关重要？如果没有这个特点，今天的 AI 发展可能会是什么样子？
欢迎在留言区分享你的答案！
Ashish Vaswani et al., Attention Is All You Need, NeurIPS, 2017.（原始论文）
Jay Alammar, The Illustrated Transformer（图解 Transformer，博客文章，jalammar.github.io，网上有多个中文译本，强烈推荐）
3Blue1Brown，视频《深度学习》系列中关于 Transformer 与注意力机制的章节（B 站有中文字幕版）
阿斯顿·张、李沐等，《动手学深度学习》第 10、11 章（免费在线书籍，d2l.ai）
下期预告：从下一篇开始，我们正式进入第四单元“大模型时代”。第 15 篇《Token 与 Embedding：AI 眼中的文字》将带你了解：计算机只认识数字，它是如何“读懂”文字的？为什么“国王 − 男人 + 女人 ≈ 女王”？大模型按“Token”收费，Token 到底是什么？
热门跟贴