麒麟9050Pro原生跑的是盘古30B MoE（总参数30B，但是每次推理只激活2B专家参数），不是稠密Dense 30B，二者速度差距巨大 。
实测速度（盘古30B-A2B MoE，NPU原生鸿蒙栈）
- Prefill（输入prompt，一次性处理输入文本）：~120–180 token/s
- Decode（逐字输出回答，日常看的生成速度）：7～12 token/s
设备：Mate XT2 / Mate90 Pro Max，INT8量化，散热正常、没有降频；长上下文、持续推理发热后，会掉到 4～6 token/s
如果你想跑【稠密30B（Dense，例如Qwen3-30B、Llama3 30B）】
稠密30B全部参数都参与计算，手机内存/闪存带宽是瓶颈，麒麟9050Pro无法流畅跑：
- 只能用llama.cpp，INT4量化，权重在闪存流式swap加载
- 速度：2～5 token/s，长prompt极慢，频繁卡顿，几乎不适合日常交互
影响速度的关键变量
1. 模型类型（MoE vs Dense）：这是最大差异，华为端侧30B是稀疏MoE方案，不是传统稠密大模型
2. 量化精度：INT8更快；INT4省内存、略慢
3. 内存：24GB版本明显优于16GB；16GB跑稠密30B会大量swap，速度暴跌
4. 散热：手机发热降频，token速率直接腰斩
5. 推理引擎：鸿蒙原生NPU引擎 >> llama.cpp CPU异构
对比参考
- 麒麟9050Pro 盘古30B MoE：7~12 token/s
- 同手机用llama.cpp跑稠密30B INT4：2~5 token/s
7～12 token/s 是什么水平（手机端，盘古30B MoE，麒麟9050 Pro）
先记住换算：1 token ≈ 0.75个汉字
7 token/s ≈ 每秒5个汉字；12 token/s≈每秒9个汉字
横向对比
1. 手机本地大模型里：属于第一梯队
- 手机稠密7B：15～30 token/s（很快，打字感很顺）
- 盘古30B MoE：7~12 token/s，30B级别能跑到这个速度在移动端非常强。
- 普通手机跑稠密30B INT4：2～5 token/s，明显偏慢，看着会等。
- 其他安卓旗舰（骁龙8 Gen4）跑同量级MoE：大多 5～9 token/s。
2. 和云端对比（差距很大）
- 普通API云端（如豆包、通义千问）：30～100+ token/s，几乎秒出文字。
- 云端是多GPU，算力远大于手机NPU；本地端侧追求的是不用联网、隐私优先，牺牲速度。
主观体验感受
- 10~12 token/s：流畅，接近人正常朗读速度，看文字输出不会明显等待。
- 7~9 token/s：可用，能接受；长回答、手机发热后掉到4~6 token/s，就会觉得明显慢，要等字一个个蹦出来。
一句话总结
✅ 移动端本地跑30B级别的模型，7~12 token/s属于优秀水平；但对比云端服务，速度慢不少，适合离线、隐私场景，不适合追求极速响应。
补充：
MoE的这个速度是激活2B参数，不是完整30B全部运算。如果是真正稠密30B能跑到这个速度，那就是移动设备的天花板了，目前手机做不到。
热门跟贴