大家好,我是最近被各种Flash模型轮番轰炸的袋鼠帝。

大家有没有发现,今年发的模型,大多数都带个Flash。

DeepSeek V4 Flash、Step 3.7 Flash、MiMo-V2-Flash、Gemini 3.8 Flash…我自己就测了好几个。

Flash模型是怎么火起来的?

回想了一下,Flash这个叫法,貌似是谷歌带火的。2024年5月Gemini 1.5 Flash发布,当时大家基本把它当Pro的平替,便宜大碗,够用就行,没多少人当回事。

然后国内也出了一些Flash模型,但那个时候我对Flash模型的印象一直是便宜、快、但是拉完了...

但没想到,从今年开始,Flash模型突然站起来了。甚至有些Flash模型能力已经超过其旗舰版。

然后今天,我看到国产模型中突然又多了一个Flash新成员:

百度开源了文心 5.5 Flash Base(ERNIE-5.5-Flash-Base)。说实话,看到又一个Flash,我第一反应是:又来?

但把它的技术Blog看了一下,我发现这次还挺不一样的。

有几处设计,我印象里主流模型还没见过这么干的。

打开网易新闻 查看精彩图片

传送门:

HF FP8:

https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

HF BF16:

https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16

vllm:

https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash

huggingface:

https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

技术Blog:

https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/

先简单介绍一下:

它总参数 2800 亿,每个 token 激活 140 亿,在 33.5 万亿 tokens 上从零预训练,上下文最高支持 100 万 tokens。

而且直接干到了同尺寸 SOTA,各项比分都高于DeepSeek-V4-Flash Base等一众硬核Flash模型。

打开网易新闻 查看精彩图片

我就挑我觉得很有亮点的几个巧思,用大白话跟大家分享一下。

总之,我觉得百度的工程师还是非常的。

一、混合稀疏注意⼒ + 低秩⻔ 控 + 虚拟头注意⼒

用大模型处理长文本,最怕显存里的 KV cache 爆炸。上下文一长,显存瞬间吃满,单卡根本带不动几个并发。

这次文心 5.5 Flash Base 在注意力机制上下了很大的功夫,从宏观分配到微观算子,一连用了三个小妙招:

第一招,也是最核心的:37 层粗看,6 层细看。

43 层注意力里,安排了 37 层 HCA(重度压缩),仅留了 6 层 MLA(细粒度精读)。

就像快速读一本千页大书,你不需要每页都背下来,大部分章节脑子里有个大纲就够了,只有最核心的几页才需要精读。

文心5.5Flash Base 的 37 层 HCA 把每 128 个历史 token 压缩为一条记录,显存暴降且保留全局视野;剩下的 6 层 MLA 则负责逐字精读,只在打分最高的关键位置精细计算。

第二招:低秩门控注意力(Low-Rank Gated Attention)。

门控的作用是在注意力输出上加一个信息过滤器,控制哪些特征传给后续网络,能大幅提升稳定性和效果。常规做法是用该层全尺寸的隐状态来算这个门控,投影参数非常大。 这就像大楼保安为了决定放行谁,非要当场把访客几百页的完整档案(隐状态)翻个底朝天,费时又费力。但如果前台刚好整理出一份核心名片(低秩 query latent),保安直接瞅一眼名片就可以决定开不开门,是不是轻松多了?

文心就是这么干的:直接用本层本来就会生成的低秩 query latent 去算门控,门投影的权重参数直接暴砍了 75%!省掉大量参数的同时,消融实验里模型效果反而还更好了。

第三招:虚拟头注意力(VHA,Virtual Head Attention)。

这篇论文刚被 NeurIPS 2026 接收:

https://arxiv.org/abs/2610.17959

在它之前,业内在长上下文注意力机制上一直面临一个「不可能三角」:

要么像 GQA(分组查询注意力)那样模型效果好,但长文本下的 KV Cache 显存依然居高不下;

要么像某些极端压缩方案,显存是省下来了,但长文本推理质量容易掉点。

百度团队就是为了打破这个死局,自研了 VHA:

打开网易新闻 查看精彩图片

解释一下:模型里的多头注意力原本是为了让不同的注意力头各自分工看文本,但它们在计算时往往各自为政、互不相通。 这就像一个调研小组里派了几个专家分工写方案,大家都在隔音小隔间里各写各的,交卷前谁也不看谁的,容易信息脱节、出现盲区。

文心的 VHA 在注意力计算后,施加了一个带恒等跳连的轻量跨头低秩混合,相当于让这几个专家在交卷前,快速碰个头、对对思路,显著增强了不同头之间的信息融合与表达力。最爽的是,到了实际推理阶段,这个跨头融合被直接合并进了注意力算子内部,相当于边写卷子边把答案对完了,几乎完全不增加任何额外的推理开销。

这套丝滑小连招从宏观上 37 层粗看 + 6 层精读节约了显存,微观上又把门控参数和算子融合抠到了极致,最大程度保留细节的同时,把每一点 KV cache 都榨出了最大的价值~

二、多路由器 MoE:别让一个考官把专家带偏了

第二个亮点是多路由器(Multi-Router)。

现在的 MoE 模型养了几百个专家,传统做法是派一个路由器给专家打分,挑选得分最高的几个来干活。

但单个考官容易看走眼,落选专家拿不到梯度反馈,错误就会不断恶性循环,真正的人才反而被冷落。

https://arxiv.org/pdf/2610.40577

打开网易新闻 查看精彩图片

百度这次搞了多个独立初始化的路由器一起打分。

一个专家只要被某个考官强烈看好,或被几个人同时打了高分就能上场。单个考官打偏也不影响大局,纠错能力极强。

最关键的是,虽然考官变多了,但最终选出的专家数量和计算量没变。不消耗额外算力,但可以选出"更聪明"的专家团队。

三、ECHO:连外挂模块都直接省掉了

第三个神来之笔叫 ECHO,这个技术名字听着云里雾里,听我讲完你就大概懂了。

平时我们用大模型,它本质上是个一个字一个字吐:每说出一个字,才去琢磨下一个字该说啥。这就像新手下象棋,走一步看一步。

为了让大模型更聪明,业内流行一种叫 MTP(多 token 预测)的技术:

强迫模型在说出当前字的同时,脑子里还得顺带预判后面的第二、第三个字。有了长远规划,写代码和推理逻辑自然更强。

但过去各大模型厂商的做法有点累赘:他们是在原本的主模型外面,额外加挂几个专用的小模块,专门派这几个外挂小弟去猜后面的字。

这就会带来两个尴尬的问题:主要是在锻炼外挂小弟,主力模型自己依然在走一步看一步;到了实际推理加速时,这几个小弟还得单独霸占显存。

百度的 ECHO 非常干脆:把外挂小模块全给干掉了,直接复用主干模型自己的最后一层去做未来预判!

https://arxiv.org/pdf/2610.24766

打开网易新闻 查看精彩图片

这就好比不请场外顾问,直接逼着主力选手自己学会看三步走一步。主力在写出第一个字时,脑子里就必须把后面的排兵布阵全盘推演清楚。

到了实际生成的时候,这共享的一层能直接化身为内置的草稿助手(投机解码),既大幅提升了吐字速度,又几乎不占额外显存。

很多人可能会好奇:既然复用主力模型就好了,为什么以前大家都要外挂一个小弟模块?

主要就是怕梯度打架。以前工程师担心:

如果让主力同时去猜下下个字,会不会把原本猜下一个字的参数给带偏了?所以为了求稳,都选择额外挂一个外挂模块去分担风险。

但百度这次的ECHO证明:只要机制设计合理,就不用有这种顾虑!

直接让主力最后一层自己去预判,不仅不耽误事,反而逼得主力在吐字前就得在大脑里做好全盘推演,顺便把外挂的显存省了。

部分朋友可能会有疑问:怎么发的是个 Base 模型?好像没怎么听说过Base模型?

这里得帮大家建立一下认知:Base 模型算是一切模型能力的源头。

如果把微调后的模型比作一把磨好的刀,Base 模型就是那块高纯度钢锭。

预训练决定智商天花板,对齐只是教它懂规矩。钢锭成色越好,刀才越锋利。文心 5.5 Flash Base 能拿下同尺寸 SOTA,说明百度在预训练基本功上底子确实非常扎实。

对行业来说,掌握从零预训练能力才能把主动权握在手里;对开发者来说,这样顶尖的开源底座,是高水平的技术起点。

「最后」

坦白讲,正式版还没上线,Base模型也没法直接拿来聊天,这次我没法实测,上面这些都是基于我读技术Blog的理解。实际好不好用,还得等正式版出来再测。

不过目前模型已开放权重,并且已经联合vLLM、SGLang等社区提供了开源生态支持。

而且我感觉,文心这次的思路是对的:在大家架构越来越像的时候,回到注意力、路由器、MTP这些最基础的东西,去抠细节。这种活不怎么性感,发布会上也不好讲,但基本功就是这么来的。

还有一点我挺有感触。我这两年折腾AI,本地部署PaddleOCR-VL、用AingDesk跑本地模型、搭私有知识库,几乎都是站在别人开源出来的东西上做的。但要是每个人都得自己从零开始,就太难了。

Base开源,意义大概也在这。东南亚、拉美这些算力没那么充裕的地方,不用从零去训一个最强模型,拿一个现成的好基座,加上本地的语言和文化,就能做出服务自己人的AI。

Base 底座已经是同尺寸 SOTA,微调打磨后的文心 5.5 Flash 正式版到时候会有多猛?

讲真,非常期待了,预计很快正式发布,大家不妨一起蹲一波~

我是袋鼠帝,一个致力于帮你把AI变成生产力的博主。我们下期见~

能看到这里的都是凤毛麟角的存在!

如果觉得不错,随手点个赞、在看、转发三连吧~

如果想第一时间收到推送,也可以给我个星标⭐

谢谢你耐心看完我的文章~