35B参数的多模态模型,跑在手机上,占用内存只要3GB。面壁智能发布的 MiniCPM-V 4.7,把这件事变成了可以上手试的东西。

官方演示里,这个模型在真实场景中读路牌、在约束条件下做规划、解析复杂文档、对视觉数据做推理。不是跑在云端服务器上,是本地运行。

打开网易新闻 查看精彩图片

3GB内存背后的调度逻辑

支撑这套推理的是 LES,即 Lookahead Expert Scheduling(前瞻专家调度)。MiniCPM-V 4.7 采用 35B-A3B 的 MoE 架构,靠这套调度机制把高效 MoE 推理带到了移动设备上。

MoE 的思路是每次推理只激活一部分专家,而不是把全部参数都跑一遍。35B-A3B 这个命名本身就说明了激活规模——总参数35B,实际激活的是A3B这一档。LES 要解决的,是在手机这种内存和算力都受限的环境里,怎么把专家调度做得足够前瞻、足够省。

除了35B这一档,还有一个轻量级的 1B 变体,面向资源更紧张的硬件,提供可用的多模态理解能力。两档产品覆盖的是不同层级的设备。

开发者可以自己调

面壁智能同时给出了 Self-Replay Fine-Tuning(SRFT,自回放微调)。按官方说法,开发者可以用它把模型定制到新任务上,同时保持通用性能不塌。

微调多模态模型常见的麻烦是:新任务学好了,原来的通用能力掉了。SRFT 针对的正是这个取舍。对想在本地跑定制多模态能力的开发者来说,这条路径的意义在于不用从零训练,也不用牺牲模型的通用底子。

从 iOS 到 Android,MiniCPM-V 4.7 的定位是让多模态 AI 在本地跑起来更实际。模型权重和代码已经放出,GitHub 仓库为 OpenBMB/MiniCPM,Hugging Face 上有对应合集,SRFT 的技术说明发布在 openbmb.cn 的博客上。

手机端跑大模型这件事,过去几年卡在内存和功耗上。3GB 这个数字如果能在真实设备上稳住,意味着中端机型也有机会本地跑多模态推理,而不必把图片和文档传到云端。