Hi，早上好。
我是洛小山，和你聊聊大模型的幻觉。
这也是新专栏「小山格物」的第一篇。
起因是最近的读者反馈：在掌握提示词技巧后，大家开始对大模型的底层逻辑更感兴趣了。
这个系列，我希望能深入浅出地回应每一位读者的好奇心。
让所有读者能够快速理解晦涩的大模型原理。
第一篇，先聊聊一位科研朋友的困惑。
他的课题偏冷门，但在使用大模型时，生成内容里却充斥着看上去极度专业、但完全虚构的论文数据。
而且语气无比自信。
他的困惑是：
为什么这些读过全人类知识的超级大模型，会在事实性问题上错得这么离谱？
这其实触及到了 LLM 的一个核心命题：大模型看不懂、也不理解你的文字，它只是在进行高维度的数学预测罢了。
01｜ Token：大模型理解世界的方式
大模型（LLM）理解世界的方式，和人类完全不同。
我们看到的是语义、是逻辑；AI 看到的是一组组数字 ID。
技术上称之为词元（Token）。
这是大模型处理信息的最小颗粒度。
目前的 GPT 等主流模型，普遍采用BPE（Byte Pair Encoding）算法。
这套算法的核心逻辑本质就是统计学：基于语料里的词频，高频的字符组合被合并为一个 Token，低频的则被拆解。
算法逻辑：
- 常见组合：（如apple）：直接打包成一个 Token。
- 生僻组合：因为词表中没有，被迫拆解成多个Token。
这就是一种在词表大小和语义表达效率之间取得平衡的策略。
BPE 这种分词逻辑有两个特点：
- 1.词频强相关：词语分割取决于出现的频率。
- 2.语种强相关：不同语种的语料不同，导致拆词方式不同。
在英文语境下，空格是天然的分隔符，但在中文语境下，这是一场没有护栏的裸奔。
因为没有空格作为分隔符，BPE 算法只能完全依赖统计词频来猜测词句的边界。
举个例子：
洛小山说：人工智能正在持续进化。
洛小山說：人工智慧正在持續進化。
LuoXiaoshan said, "Artificial intelligence is continually evolving.
뤄샤오산은 말했습니다: "인공지능은 지속적으로 진화하고 있습니다."
- 英文：也就是 BPE 的亲儿子。Artificial、intelligence 这种长单词，可以完美地识别为一个独立的 Token。
- 中文：待遇降级。人工智能这种高频词还能享受到合并待遇，但像洛小山这种词，直接被切碎成了多个字符 ID。
- 韩文：拆得更碎。因为韩语虽然是拼音文字，但除了습니다这样的终结语尾之外，其他的内容，因为在 GPT 的训练语料里韩文占比极低，导致大量的词汇无法合并，几乎每个音节都被强行拆解。
这种按照词频拆分 Token 的逻辑，也就解释了为什么大模型直接数学计算上翻车。
因为在人类眼中，数字是有位的概念的。我们知道 1000 是一个整体，代表一千。
但在 BPE 算法的视角里，并没有数值的概念，只有字符出现的频率。
但大模型按照统计学拆分的时候，面对 1000 时，如果这个数在词表中不存在，它会被暴力拆解为 100 和 0 两个 Token。
所以，当你直接给大模型一个数学公式的时候，它并没有在做数学运算。
它还在赌：在 100 和 0 和 + 出现之后，下一个出现概率最高的字符是什么？
看到这里，你或许就能理解，以前问他 3.11 和 3.9 哪个更大，早期的模型经常会告诉你 3.11 更大。
就是因为大模型对 Token 理解逻辑不对，11 和 9 单独对比之后导致的。
更好笑的是，这种纯粹基于「统计频率」的逻辑，会产生一些极其诡异的 Bug。比如有一个著名的分词Bad Case：「给主人留下些什么吧」
这么长的一句话，在 OpenAI 的官方 Tokenizer 里，这句长达 9 个字的中文长句，既没有被拆解成单字，也没有分词。
它居然被识别成了 1 个 Token（ID: 177431）。
减少一个字，反而被拆成了两个 Token。
为啥呢？
因为这句话在OpenAI早期的训练数据中（主要来自某些中文博彩、色情网站的垃圾语料），重复出现了非常非常多次。
BPE 算法本身没有价值观，它在训练时只是机械地发现：咦，这串字符出现的频率极高，而且总是粘连在一起。
于是，算法判定这是一个「不可分割的最小语义单元」，强行将其合并为一个独立的Token。
感兴趣可以来这里体验：
platform.openai.com/tokenizer
这就解释了大模型幻觉的根源之一：GPT并没有理解「主人」或「留下」是啥意思，它只是在处理一个统计学上的高频的词而已。
所以，当你的 Prompt 触发了这个符号的概率关联，无论逻辑是否通顺，它都会自信地把这个 Token 抛出来。
02｜ 本质：是填空，不是扯淡
理解了 Token，你就理解了大模型幻觉的物理本质。
关键点就是：AI 不是搜索引擎，它是生成模型。
- 搜索引擎的本质是过滤。工作原理是去数据库里翻关键词，如果找到了就给你，找不到就说没有。这叫「检索」。
- 而AI 的本质是概率预测机。它的工作原理是：基于上文的 Token，计算下一个 Token 出现的概率分布。这叫「生成」。
所以，搜索引擎在帮你找答案，而大模型在帮你拼答案。
学界有个更精准的定义：自回归生成。
它的目标永远是最大化下一个词的出现概率 ，而不是校验命题的真伪。
当你问它一个它不知道的冷门知识时，发生了什么？
比如，你们公司的某个并未公开的内部数据，或者一个极冷门的历史人物。
这在技术上叫做数据黑洞（Data Voids）。
在这些领域，模型缺乏足够的样本来建立稳固的神经连接。
但模型的机制迫使它不能不说话。它必须输出下一个 Token。
假设大模型的内存里只见过这两句话，当我们问：林黛玉是如何倒拔垂杨柳的？
它不关心林黛玉为什么要哭，它只关心在‘林黛’这两个字之后，出现‘玉’的概率是 98%。
于是，它开始根据概率最高的路径，从词表里抓取 Token 来填空。
- 它从语料里抓取了「垂杨柳」这个词，因为它在资料里出现的概率高；
- 它甚至编造了一个桥段，为了让内容看起来更自然。
这是个动画，可以到这里体验，更加直观。
luoxiaoshan.cn/hallucination
最终，它拼命地解答你给的完形填空。
然后用最完美的格式、最自信的语气，把这些毫不相干的内容拼在了一起。
对它来说，只要这句话通顺（概率够高），任务就完成了。
至于内容符不符合客观事实？
对不起，Token 只看概率。
你可能会问了，这不完犊子了吗？
我哪知道什么模型在什么时候会怎么样乱说话啊。
解法后面再说，先讲一下普遍情况。
03 ｜ 高危区：哪些场景下幻觉会爆发？
不过，幻觉并不是随机分布的。
就像人类在疲劳或醉酒时容易犯错一样，AI 也有它的「认知高危区」。
理解这些场景，能帮你避开 80% 的坑。
第一种场景：知识的「真空地带」
什么时候大模型最爱乱讲？
答案是：当它真不知道，而你又非逼它回答的时候。
这主要发生在离线状态下询问冷门知识。
在训练数据里，这些信息可能只出现过一两次，甚至根本没有。
但生成机制迫使它必须输出，于是它只能调用「概率上最接近」的通用模板来硬套。
举个例子你就懂了，我打开 DeepSeek，输入这个问题，关掉联网搜索，发送。
提问：缩写《苦柑》片子韩文名叫啥？
这答案给我整笑了。
它不仅编造了一个不存在的韩文名，甚至连电影的「寓意」和「隐喻」都给你编得头头是道。
先还给你整个韩语的首字母缩写呢…
这就是概率生成的坑：因为「苦」和「柑」在语义空间里容易关联到「坏掉的橘子」，所以它顺着概率树编造了一个看似完美实则离谱的故事。
当我们知道，因为大模型内没有相关知识的时候导致的幻觉时，我们就可以加入联网搜索能力来「缓解」注意是缓解幻觉问题。
比如我再打开搜索。
这就是区别。
一旦接通了外部知识库（联网），AI 的幻觉降低了很多。
第二种场景：长文本的上下文腐化（Context Rot）
按照上面搜索的逻辑，那我给大模型超级多的资料，是不是就能直接解决幻觉的问题了？
比如把几十份 PDF 扔给 AI，让它读完这几十万字然后写总结… 美滋滋？
说实话，这往往是幻觉的重灾区。
这是一篇 Chroma 写的上下文腐化的调研报告，大意是：尽管现代大语言模型（LLM）声称拥有数百万token的上下文窗口，但在实际应用中，随着输入长度的增加，模型的性能并非保持一致，而是会出现显著且不可靠的下降。
research.trychroma.com/context-rot
不仅仅是复杂的推理任务，即使是极其简单的需求，当上下文长度增加时，模型也无法保持稳定。
实验显示，模型不仅会出错，甚至会出现拒绝回答或生成随机乱码的情况。
但在实际运转中，Transformer 架构存在一个著名的「首尾效应」。
它对开头（Prompt）和结尾（最新的输入）的注意力最强。
而夹在中间的那几万字，很容易被注意力机制忽略或混淆。
学术界称之为「中间迷失」（Lost in the Middle）。
当关键信息位于长文档的中间部分时，AI 经常会记错、漏掉，甚至为了填补逻辑空白而编造细节。
太遗憾了…
第三种场景：小模型的压缩损耗
现在很流行端侧私有化部署大模型，比如 7B 甚至 1.5B 的小模型。
虽然它们速度快、成本低，但幻觉率通常显著高于超大模型。
原因很简单：压缩即损耗。
GPT-4 可能有 1.8 万亿参数，它能记下许多的内容。
而小模型为了瘦身，被迫丢弃了大量细节信息。
只要是网上不那么高频的内容，几乎必然会出错。
给我整笑了…
可见，模型的尺寸越小，幻觉的概率往往越高。
当模型被压缩，大量的事实细节被丢弃，它就只能靠脑补来填空。
04 ｜ 破局：它是缺陷，也是特性
接下来就引出了一个更深层的问题，幻觉无法解决吗？
随着技术的发展，只要我们把模型做大、版本更新，幻觉是不是就会彻底消失？
答案是有点令人沮丧的：不会。
甚至在某些情况下，模型越强，幻觉会越重。
幻觉是大模型的基本特性，就像原癌基因一样，它是生命的底色，也是生命进化的缺陷。
只要这个架构还是基于概率预测下一个 Token，它就永远存在「幻觉」的可能。
Karpathy 23年发过一个帖子，马斯克也回复了。
大意是：LLM 的幻觉不是 Bug，而是它最伟大的 Feature。
为什么这么说？
因为大模型的本质是做梦。
那个让它能编造出虚假法律案例的机制，和让它能写出精彩科幻小说、生成绝妙代码创意的机制，在底层是完全同一个机制。
如果我们把做梦的能力彻底阉割，AI 就退化成了一个搜索引擎。
我们无法彻底消灭幻觉，但我们可以了解并管控它。
为了量化不同模型的老实程度，Vectara 推出了一个著名的幻觉排行榜（Hallucination Leaderboard）。
https://huggingface.co/spaces/vectara/leaderboard
在这个榜单上，我们看到了「反直觉」的鄙视链：
T1（< 5%）：专精的小而美。
类似 Gemini 2.5 Flash Lite、微软的microsoft/Phi-4 等模型说明，在特定领域经过极端微调的模型，或者参数量适中且经过严格对齐的模型，反而更不容易扯谎。
T2（5% - 10%）：主流当打之年。
大家常用的主力模型都在这里，比如 DeepSeek V3.2、智谱 GLM 4.6、ChatGPT 5.2 high、Claude Opus 4.5等等，已经相当不错了。
T3（> 10%）：新一代的颠佬。
这才是最反直觉的地方，比如我一直在用的 Gemini 3 Pro Preview (13.5%) 的幻觉率居然这么高。
然后主打慢思考、推理能力炸裂的 OpenAI o3-pro，幻觉率居然高达 22.7%！
为什么？
因为「创造力」和「诚实」在 Transformer 架构的天平上往往是互斥的。
一个完全不产生幻觉的模型，可能会变得像老登一样无聊。
另外，大模型的能力越强，脑补就会越多。
o3 和 GPT-5 这类模型，因为创造力和联想能力太强，在面对事实性摘要任务时，反而容易加戏。它们太想给你一个完美的答案，以至于不惜编造细节来补全逻辑链条。
第三，Preview 版不仅不稳定，而且爱撒谎。
很多预览版模型（Preview）为了抢发，在 RLHF（人类反馈强化学习）的诚实性对齐上做得并不充分，导致预览版模型的幻觉也很高。
可见，大模型的幻觉不可避免，这也是你随便打开任何一个 AI 应用，肯定能找到一行字：「内容由 AI 生成，请仔细甄别」的根本原因。
某种意义上，这玩意是个使用说明。
所以，选模型干活时，别只迷信版本。
05｜共处：信任，但要验证
当我们拆解到底层，它就是无数个 Token 在数学概率驱动下的生成器。
它有惊人的创造力，但也继承了概率本身的不确定性。
既然幻觉不可避免，我们该怎样和大模型的幻觉共处呢？
就像和下属配合一样，知道他的能力边界，就能更好知人善用。
我们可以参考管理学中著名的方法论：乔哈里视窗和大模型配合。
基于人 和大模型的经验空间，一共分为四个象限。
共识区（人知+AI知）： 比如写周报、润色邮件。
AI 的语料极多，Token 连接强，放心用，它是你的超级助理。
私有区（人知+AI不知）： 比如你公司的机密数据。
别直接问，要整理好资料投喂它。 把文档传给它，强制它只基于文档回答（这叫 RAG 技术）。
高危区（人不知+AI知）： 也就是我那位朋友遇到的情况。
凡是涉及冷门的人名、数据、文献、药物剂量，这里就是幻觉的重灾区。
未知区（人不知+AI也不知）：除非你和他脑暴，不然大概率全是乱说的东西。
在高危区这部分的对话，我教你一个最简单的方法，就是多模型联合验证。
可以是试试给大模型提要求：如果你不知道，请回答不知道。
或者要求它「列出每一条信息的来源网址。」
然后，不要只信一家之言。
把同一个复杂的查询任务，分别扔给 ChatGPT、Claude和 Gemini。
- 如果三个大模型给出的细节（比如某个数据或案例）完全一致，可信度会比较高。
- 如果它们给出的细节各有出入，那么大概率它们都在乱写。
终｜AI 不是神，但也不是妖。
写到这里，我们已经把大模型从神坛上拉了下来。
我们拆解了它的原理，看到了它的局限，但这并不是为了否定大模型。
我相信，祛魅才是掌控的开始。
当你知道大模型只是一个极其努力、偶尔会一本正经胡说八道的概率预测机的时候，你也就找到了与它共处的最佳姿态。
上周，我和读者 @hush 聊起来，他提到一个观点我觉得很有意思。
AI 本质上是它对人类知识的「平均能力」的一种发散。
AI 看得太多，在你不擅长的领域里，能快速把你拉到很高的水平线上。
比如它能给你无数种可能性的组合，能帮你打破思维的惯性，能在几秒钟内生成你三天都写不完的代码Demo。
但它永远无法取代你做两件事：一是「判断」，二是「负责」。
因为，在专业领域里，你才是你的第一责任人。
如果大模型的能力超过了你，那………
你看，
- AI 可以给你生成 10 个法律案例，但只有你能判断哪一个是真相，哪一个是幻觉。
- AI 可以给你写出 100 句文案，但只有你能感知哪一句能击中人心。
- AI 可以给你无数个选项，但只有你能按下那个最终的确认键，并为结果买单。
所以，AI 永远是你的助手，你要为AI 和你共建的内容负责，而不是挑战或批判一番。
在这个真假难辨的 AIGC 时代：请相信技术的算力，但更要相信你自己的判断力。
善用它，压榨它，校准它。
享受它带来的效率红利，但你的手里，要永远握着核查的缰绳。
不要把你大脑的控制权，你文章的质量，轻易地让渡给一个只会做填空题的程序。
因为在算法的概率迷雾中，你的批判性思维，才是唯一的灯塔。
我是洛小山，这是《小山格物》的第一篇。
这篇文章哪一个细节最让你感到恍然大悟？
或者你还对哪些 AI 的奇怪行为感到好奇？
评论区见，你们的好奇心，就是下一篇的选题。
我们在下一篇「格物」见。
关于我
我是洛小山，一个在 AI 浪潮中不断思考和实践的大厂产品总监。
我不追热点，只分享那些能真正改变我们工作模式的观察和工具。
如果你也在做 AI 产品，欢迎关注我，我们一起进化。
本文知识产权归洛小山所有。
未经授权，禁止抓取本文内容，用于模型训练以及二次创作等用途。
热门跟贴