大家好,我是最近被各种Flash模型轮番轰炸的袋鼠帝。
大家有没有发现,今年发的模型,大多数都带个Flash。
DeepSeek V4 Flash、Step 3.7 Flash、MiMo-V2-Flash、Gemini 3.8 Flash…我自己就测了好几个。
Flash模型是怎么火起来的?
回想了一下,Flash这个叫法,貌似是谷歌带火的。2024年5月Gemini 1.5 Flash发布,当时大家基本把它当Pro的平替,便宜大碗,够用就行,没多少人当回事。
然后国内也出了一些Flash模型,但那个时候我对Flash模型的印象一直是便宜、快、但是拉完了...
但没想到,从今年开始,Flash模型突然站起来了。甚至有些Flash模型能力已经超过其旗舰版。
然后今天,我看到国产模型中突然又多了一个Flash新成员:
百度开源了文心 5.5 Flash Base(ERNIE-5.5-Flash-Base)。说实话,看到又一个Flash,我第一反应是:又来?
但把它的技术Blog看了一下,我发现这次还挺不一样的。
有几处设计,我印象里主流模型还没见过这么干的。
传送门:
HF FP8:
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
HF BF16:
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
vllm:
https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash
huggingface:
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
技术Blog:
https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
先简单介绍一下:
它总参数 2800 亿,每个 token 激活 140 亿,在 33.5 万亿 tokens 上从零预训练,上下文最高支持 100 万 tokens。
而且直接干到了同尺寸 SOTA,各项比分都高于DeepSeek-V4-Flash Base等一众硬核Flash模型。
我就挑我觉得很有亮点的几个巧思,用大白话跟大家分享一下。
总之,我觉得百度的工程师还是非常的。
一、混合稀疏注意⼒ + 低秩⻔ 控 + 虚拟头注意⼒
用大模型处理长文本,最怕显存里的 KV cache 爆炸。上下文一长,显存瞬间吃满,单卡根本带不动几个并发。
这次文心 5.5 Flash Base 在注意力机制上下了很大的功夫,从宏观分配到微观算子,一连用了三个小妙招:
第一招,也是最核心的:37 层粗看,6 层细看。
43 层注意力里,安排了 37 层 HCA(重度压缩),仅留了 6 层 MLA(细粒度精读)。
就像快速读一本千页大书,你不需要每页都背下来,大部分章节脑子里有个大纲就够了,只有最核心的几页才需要精读。
文心5.5Flash Base 的 37 层 HCA 把每 128 个历史 token 压缩为一条记录,显存暴降且保留全局视野;剩下的 6 层 MLA 则负责逐字精读,只在打分最高的关键位置精细计算。
第二招:低秩门控注意力(Low-Rank Gated Attention)。
门控的作用是在注意力输出上加一个信息过滤器,控制哪些特征传给后续网络,能大幅提升稳定性和效果。常规做法是用该层全尺寸的隐状态来算这个门控,投影参数非常大。 这就像大楼保安为了决定放行谁,非要当场把访客几百页的完整档案(隐状态)翻个底朝天,费时又费力。但如果前台刚好整理出一份核心名片(低秩 query latent),保安直接瞅一眼名片就可以决定开不开门,是不是轻松多了?
文心就是这么干的:直接用本层本来就会生成的低秩 query latent 去算门控,门投影的权重参数直接暴砍了 75%!省掉大量参数的同时,消融实验里模型效果反而还更好了。
第三招:虚拟头注意力(VHA,Virtual Head Attention)。
这篇论文刚被 NeurIPS 2026 接收:
https://arxiv.org/abs/2610.17959
在它之前,业内在长上下文注意力机制上一直面临一个「不可能三角」:
要么像 GQA(分组查询注意力)那样模型效果好,但长文本下的 KV Cache 显存依然居高不下;
要么像某些极端压缩方案,显存是省下来了,但长文本推理质量容易掉点。
百度团队就是为了打破这个死局,自研了 VHA:
解释一下:模型里的多头注意力原本是为了让不同的注意力头各自分工看文本,但它们在计算时往往各自为政、互不相通。 这就像一个调研小组里派了几个专家分工写方案,大家都在隔音小隔间里各写各的,交卷前谁也不看谁的,容易信息脱节、出现盲区。
文心的 VHA 在注意力计算后,施加了一个带恒等跳连的轻量跨头低秩混合,相当于让这几个专家在交卷前,快速碰个头、对对思路,显著增强了不同头之间的信息融合与表达力。最爽的是,到了实际推理阶段,这个跨头融合被直接合并进了注意力算子内部,相当于边写卷子边把答案对完了,几乎完全不增加任何额外的推理开销。
这套丝滑小连招从宏观上 37 层粗看 + 6 层精读节约了显存,微观上又把门控参数和算子融合抠到了极致,最大程度保留细节的同时,把每一点 KV cache 都榨出了最大的价值~
二、多路由器 MoE:别让一个考官把专家带偏了
第二个亮点是多路由器(Multi-Router)。
现在的 MoE 模型养了几百个专家,传统做法是派一个路由器给专家打分,挑选得分最高的几个来干活。
但单个考官容易看走眼,落选专家拿不到梯度反馈,错误就会不断恶性循环,真正的人才反而被冷落。
https://arxiv.org/pdf/2610.40577
百度这次搞了多个独立初始化的路由器一起打分。
一个专家只要被某个考官强烈看好,或被几个人同时打了高分就能上场。单个考官打偏也不影响大局,纠错能力极强。
最关键的是,虽然考官变多了,但最终选出的专家数量和计算量没变。不消耗额外算力,但可以选出"更聪明"的专家团队。
三、ECHO:连外挂模块都直接省掉了
第三个神来之笔叫 ECHO,这个技术名字听着云里雾里,听我讲完你就大概懂了。
平时我们用大模型,它本质上是个一个字一个字吐:每说出一个字,才去琢磨下一个字该说啥。这就像新手下象棋,走一步看一步。
为了让大模型更聪明,业内流行一种叫 MTP(多 token 预测)的技术:
强迫模型在说出当前字的同时,脑子里还得顺带预判后面的第二、第三个字。有了长远规划,写代码和推理逻辑自然更强。
但过去各大模型厂商的做法有点累赘:他们是在原本的主模型外面,额外加挂几个专用的小模块,专门派这几个外挂小弟去猜后面的字。
这就会带来两个尴尬的问题:主要是在锻炼外挂小弟,主力模型自己依然在走一步看一步;到了实际推理加速时,这几个小弟还得单独霸占显存。
百度的 ECHO 非常干脆:把外挂小模块全给干掉了,直接复用主干模型自己的最后一层去做未来预判!
https://arxiv.org/pdf/2610.24766
这就好比不请场外顾问,直接逼着主力选手自己学会看三步走一步。主力在写出第一个字时,脑子里就必须把后面的排兵布阵全盘推演清楚。
到了实际生成的时候,这共享的一层能直接化身为内置的草稿助手(投机解码),既大幅提升了吐字速度,又几乎不占额外显存。
很多人可能会好奇:既然复用主力模型就好了,为什么以前大家都要外挂一个小弟模块?
主要就是怕梯度打架。以前工程师担心:
如果让主力同时去猜下下个字,会不会把原本猜下一个字的参数给带偏了?所以为了求稳,都选择额外挂一个外挂模块去分担风险。
但百度这次的ECHO证明:只要机制设计合理,就不用有这种顾虑!
直接让主力最后一层自己去预判,不仅不耽误事,反而逼得主力在吐字前就得在大脑里做好全盘推演,顺便把外挂的显存省了。
部分朋友可能会有疑问:怎么发的是个 Base 模型?好像没怎么听说过Base模型?
这里得帮大家建立一下认知:Base 模型算是一切模型能力的源头。
如果把微调后的模型比作一把磨好的刀,Base 模型就是那块高纯度钢锭。
预训练决定智商天花板,对齐只是教它懂规矩。钢锭成色越好,刀才越锋利。文心 5.5 Flash Base 能拿下同尺寸 SOTA,说明百度在预训练基本功上底子确实非常扎实。
对行业来说,掌握从零预训练能力才能把主动权握在手里;对开发者来说,这样顶尖的开源底座,是高水平的技术起点。
「最后」
坦白讲,正式版还没上线,Base模型也没法直接拿来聊天,这次我没法实测,上面这些都是基于我读技术Blog的理解。实际好不好用,还得等正式版出来再测。
不过目前模型已开放权重,并且已经联合vLLM、SGLang等社区提供了开源生态支持。
而且我感觉,文心这次的思路是对的:在大家架构越来越像的时候,回到注意力、路由器、MTP这些最基础的东西,去抠细节。这种活不怎么性感,发布会上也不好讲,但基本功就是这么来的。
还有一点我挺有感触。我这两年折腾AI,本地部署PaddleOCR-VL、用AingDesk跑本地模型、搭私有知识库,几乎都是站在别人开源出来的东西上做的。但要是每个人都得自己从零开始,就太难了。
Base开源,意义大概也在这。东南亚、拉美这些算力没那么充裕的地方,不用从零去训一个最强模型,拿一个现成的好基座,加上本地的语言和文化,就能做出服务自己人的AI。
Base 底座已经是同尺寸 SOTA,微调打磨后的文心 5.5 Flash 正式版到时候会有多猛?
讲真,非常期待了,预计很快正式发布,大家不妨一起蹲一波~
我是袋鼠帝,一个致力于帮你把AI变成生产力的博主。我们下期见~
能看到这里的都是凤毛麟角的存在!
如果觉得不错,随手点个赞、在看、转发三连吧~
如果想第一时间收到推送,也可以给我个星标⭐
谢谢你耐心看完我的文章~
热门跟贴