35B参数的多模态模型,跑在手机上。面壁开源的 MiniCPM-V 4.7 把这件事做成了,用的办法是量化压缩加一套叫 LES 的调度机制。
端侧部署一直卡在同一个地方:参数规模越大,设备越扛不住。35B 这个量级过去基本是云端或工作站的活,移动端想都别想。MiniCPM-V 4.7 的 35B-A3B 架构,配合量化压缩,把模型体积和计算量压到了移动芯片能接住的范围内。
LES 调度解决的是什么问题
LES 全称 Lookahead Expert Scheduling,即前瞻专家调度。它的作用是在推理过程中提前安排专家的调用顺序,让 35B 规模的模型在资源受限的设备上也能高效运行。量化负责把模型压小,LES 负责让压小之后的模型跑得顺,两者配合才让手机端推理成立。
实测设备是 iPad Pro M4 和 iPhone 17 Pro Max,在这两台设备上实现了流畅的推理速度。这个结果直接指向一个变化:高性能大参数多模态模型在端侧落地的可行性大幅提升。
被改写的是部署经济学
端侧多模态模型过去的选择很有限——要么用小参数模型换速度,要么把请求发到云端换能力。MiniCPM-V 4.7 把 35B 塞进手机,等于把这道选择题的选项改了。量化压缩降低的是部署成本,LES 调度提升的是运行效率,两件事叠加,改变的是端侧部署的账本。
面壁这次开源,把 35B 端侧多模态的部署经济学摆到了台面上。
热门跟贴