一个原本要占56GB的模型,现在能塞进个人电脑,甚至部分高端手机。Prism ML Inc. 周四发布了 Bonsai 2 27B,这是其超紧凑多模态生成式AI的第二代产品。

官方给出的路径是"三元"(ternary)方案——用三部分来做压缩,把基于 Qwen3.8 27B 的模型缩小。Qwen3.8 本身重量约 56GB,这个数字是理解这次发布的关键参照。

打开网易新闻 查看精彩图片

小模型为什么值得盯

Bonsai 2 27B 的定位很明确:多模态、生成式、足够小。小到能跑在消费级硬件上,而不是只活在数据中心的机架里。对做端侧应用的人来说,这决定了产品能不能落地。

Prism ML 选择在 Qwen3.8 27B 的基础上做压缩,而不是从零训练。这条路线的取舍在于:底座能力已经存在,剩下的问题是怎么把它塞进更小的空间,同时不把智能水平削掉太多。

三元压缩意味着什么

三元方案的核心是用三个部分来重新表达原本的模型参数。方向是清楚的——用更少的表示空间承载同样的模型。

56GB 到消费级硬件之间的差距,正是这类压缩技术要填的坑。填得上,端侧多模态就有了可用的底座;填不上,模型再强也只能留在云端。

Bonsai 2 27B 是这一系列的第二代。"第二代"本身说明 Prism ML 在这条路上是持续投入的。