同一个模型,前馈吞吐从1300 TPS拉到3400 TPS,解码从56 TPS提到80 TPS。做测试的是 Ash Hart(@ashxhart),他在社区推荐下试了 DeepSeek V4.1 1017 Flash,靠"一点点 sauce"式的优化拿到了这组数字。
对照的是 TensorFold 在同一模型上的原生表现:前馈 1300 TPS、解码 56 TPS。两边跑的是同一个模型,差距全在优化上。
几个关键前提值得先摆清楚:
- 用的是 DeepSeek 原始量化版本,没有做剪枝
- 优化被作者形容为"一点点 sauce",并未展开具体做法
- 附有运行视频演示,可对照实际跑分
作者还抛出一个开放话题:GLM 和 DeepSeek 之间,大家更偏好哪个。这个问题留给了评论区,没有给出结论。
对天天跟推理吞吐打交道的打工人来说,这组数字的意义在于——模型没换、权重没剪,纯靠工程侧调优就能把前馈吞吐抬到原来的两倍多。同样的卡、同样的模型,跑出什么水平,取决于你手上那点 sauce 够不够。
热门跟贴