一个2B参数的模型，量化后权重只有1.61 GB。这个数字来自社区开发者对 MiniCPM5-2B 的 EXL3 4-bit 量化版本，目标是让本地推理更轻量。

量化本身不新鲜，但把权重压到 1.61 GB 这个量级，意味着它能在更多消费级硬件上跑起来。发布信息里给出的实测数据是：在 NVIDIA Tesla T4 上，速度约为 68–70 tokens/s。

打开网易新闻 查看精彩图片

量化规格与运行方式

这次量化采用的是 4.0 bpw EXL3 方案，核心目的是缩小模型体积。运行侧支持 ExLlamaV3 和 TabbyAPI 两种本地推理路径，面向的是希望把模型跑在自己设备上的用户。

从发布信息看，这是一次社区贡献，而非官方发布。模型权重托管在 Hugging Face 上，基础模型指向 openbmb 的 MiniCPM 系列。

为什么值得关注

2B 参数量级的模型，本身定位就是轻量。再叠加 4-bit 量化，权重降到 1.61 GB，直接的影响是本地部署的硬件门槛进一步下探。

发布信息把这次量化描述为"让 MiniCPM5-2B 更适合更轻量、更易获取的本地 AI 部署"的一次社区优化。换句话说，它解决的不是模型能力问题，而是"能不能在普通设备上跑起来"的问题。

对于关注本地推理的开发者来说，可参考的信息点很明确：

  • 量化方案：4.0 bpw EXL3
  • 权重体积：1.61 GB
  • 实测速度：约 68–70 tokens/s（NVIDIA Tesla T4）
  • 推理支持：ExLlamaV3、TabbyAPI

这些数字构成了这次发布的核心信息。是否适合具体场景，还需要结合自身硬件和任务类型判断。