大家好，我是AI学习的老章

如何运行Kimi K2 这个庞然大物（API & 本地部署）一文中我还在好奇，这次大模型量化之光Unsloth动作怎么这么慢

原来是准备了惊喜，重现了之前在R1上的经典——模型容量压缩80%！！！

完整版 Kimi K2 Q8 量化模型大小为 1.09TB，至少需要 8 块 H200 GPU 才能运行。

经过 Unsloth Dynamic 1.8 位量化的版本仅需 245GB（体积减少 80%）

压缩之后，也没有大幅降智

Unsloth在发布 DeepSeek R1 的 1.58 位量化版本时引入了 Flappy Bird 测试。Kimi K2 是极少数能一次性通过所有测试的模型，包括本测试、七边形测试等，甚至在 2 位量化下也能完成。

指南： https://docs.unsloth.ai/basics/kimi-k2
模型文件： https://huggingface.co/unsloth/Kimi-K2-Instruct-GGUF