一台 64GB 内存的 Mac,能跑 2200 亿参数的多模态大模型?这事一周前还像天方夜谭,如今真有人把它跑起来了。
腾讯的 Hy4 Flash 开源后,一个本地模型团队紧接着甩出量化版:把内存占用压到约 49GB,比官方放出的最小 GGUF 还省 22GB 以上。代价是质量确实掉了,但团队说日常问答、写代码、看图描述这些活还能接住。
220B 到底是个什么量级
先把主角说清楚。Hy4 Flash 是腾讯混元 11 月 18 日开源的多模态模型,混合专家(MoE)架构,总参数 220B 上下(官方口径 224B,其中 64B 是 Engram 查找表),每个 token 只激活约 12B 参数。
这个"激活少、总量大"的路子,正是它能被塞进个人机器的前提。真正吃内存的,是那张 Engram 表——一张按哈希查 bigram 和 trigram 的大表。团队动了它的心思:不进内存,留在硬盘上,每个 token 只读几 KB。
结构上也做了精简。42 层主干里只有 1 层密集、其余 41 层是 MoE,512 个专家每 token 只唤醒 16 个。文本激活 11.3B,视觉激活 0.43B,原生支持图文输入,上下文长度 100 万 token。
官方同时开源了三个版本:指令微调的 Hy4 Flash、显存更省的 FP8 版、供二次微调的 Base 基座。
怎么把 220B 塞进 49GB
诀窍是"分而治之"。
专家权重压到约 2.3bit,其余部分保留 Q8。这两步把必须常驻内存的部分砍到 49.1GB。那张 63.5B 的 Engram 查找表单独做成 Q4_0 文件,体积 35.6GB,直接丢在 SSD 上,需要时按需读取。
对比一下官方此前最小的一版要占约 70GB,这一版省下的 22GB 正是门槛从"高配工作站"降到"64GB Mac"的那一截。
省内存的账,质量那头得还
压缩不是白嫖。团队把量化版和原始 BF16 权重逐 token 比对,选出同一个 token 的比例是 76.4%。
这个数字是什么水平?官方自己的 IQ2 版是 77.9%,Q4_K_M 是 89.3%,连 8bit 版也有 91.8%。越省内存,掉得越狠,一目了然。
更麻烦的是,这模型对舍入误差格外敏感。权重稍微一变,路由器在 512 个专家里挑中的那 16 个就可能换人,结果跟着偏。团队特意提醒:这些一致率是排序参考,不是绝对分数,别拿它当任务表现看。他们还没跑标准任务基准。
实际好不好用,有人手工验过
团队做了几组手测:逻辑题和算术题答对了,写出的 Python 函数能跑,给一张测试图也能准确描述。开启推理时,模型正确调用了外部工具;关掉推理,它就用文字作答、不调工具。
要给 Agent 用的话,推理开关记得打开,否则工具调用那条链就断了。
速度方面,4 张 80GB A100 上生成约 23 到 26 token/s——这个数字跟 Mac 关系不大。官方口径是消费级多卡或高配单卡上可超 150 token/s,那是另一组测试,别混着看。
想自己跑,先把这几关过了
第一关,llama.cpp 还没正式支持。Hy4 Flash 的适配停在开放拉取请求 #32517 里,得从这条 PR 编译,团队验证的提交是 0a054d0b:
git fetch origin pull/32517/head:hy4-flash && git checkout 0a054d0b按常规 cmake 流程编译后,启动命令长这样:
./llama-server -m 主文件.gguf --mmproj 视觉.gguf -ngl 99 -ot 'per_layer_token_embd\.weight=CPU' -c 32768 --jinja现成的 LM Studio、Ollama 和稳定版 llama.cpp 目前都加载不了这批文件。团队说,等 PR 合并前格式若有变动,仓库文件会跟着更新。
第二关,Mac 用户要先调高 GPU 内存上限,再启动服务,不然 64GB 的物理内存用不满。
第三关,协议不是 Apache。Hy4 Flash 用的是 Tencent Hy License v1.0,在 Apache 2.0 基础上加了商业条款:12 个月内营收超过 5000 万美元,或月活过 1 亿,需要单独谈书面授权。个人和小团队折腾本地部署,通常碰不到这条线。
一点提醒
从"得租一整个集群"到"桌边这台机器就够",220B 这个量级的模型确实往下沉了一大截。不过要看清楚:能跑不等于跑得爽,76.4% 的一致率意味着它更适合尝鲜和轻量任务,真要扛生产,还得等更大的量化版或官方优化落地。
想上手的话,模型文件和编译说明都在开源仓库里,照着流程走一遍并不难。
参考内容:
https://x.com/NFT_Chen/status/2123105260873146452
https://x.com/NFT_Chen/status/2122943673562477001
https://www.alextech.ai/en/news/tencents-hy4-flash-now-runs-on-a-64-gb-home-computer
https://next.ithome.com/archiver/1/028/701.htm
https://www.deai.org/news/tencent-hy4-flash-open-weights-pulse
热门跟贴