开发者 fakezeta 发布了 Qwen3.8-27B Condensed-P2,一个对 Qwen3.8-27B 做词表压缩后的版本。核心动作很直接:把词表规模从 248,320 行压缩到 141,141 行,减少 43.2% 的词汇行数。
压缩之后,模型跑在 16GB 显存的 RTX 5060 Ti 上,配合 NInfer 与 RK8V4 KV cache,在 75K 上下文窗口下实现约 60 tps 的平均推理速度。量化基础是 Unsloth UD-Q3_K_XL。
更值得注意的一点是指令跟随表现没有随剪枝下滑。剪枝后模型在 IFEval 基准上的得分为 84.4%,高于剪枝前的 83.9%。
代价落在多语言能力上。该版本仅保留 ASCII 和部分拉丁字符脚本的词汇,其他语言可能需要更多 token 才能表达同样的内容。因此这一方法对面向英语的本地 AI 部署更有吸引力。
发布方同时提供了 GGUF 格式与 NInfer 版本,方便直接落地到本地推理环境。
热门跟贴