DeepSeek开源了自家内部推理框架DeepInfer，采用 Apache-2.0协议，商用友好。
先看两个核心数据。
依托 DeepInfer，其单套生产集群日吞吐可达 155 万亿 Token。
这是什么量级？
普通小集群单日吞吐往往只有几十亿到几百亿Token，两者相差上千倍。
单卡收入方面，按谷价折算，该生产集群单卡每小时收入约 38 美元。
这是依托推理框架、模型、调度、缓存整套内部体系，配合持续用户请求跑出来的服务营收；官方也明确，这是收入口径，不是扣完成本后的净利润。
为什么 38 美元/小时这个数字冲击力强？
可以拿算力租赁行情做参照。
B300 单卡短期按需租赁价大致在 6–10 美元 / 小时，长租还能更低。
对比之下，DeepSeek 这套集群在谷时段的单卡营收，明显高于短期直接出租高端显卡的收益。
GPU只是硬件，本身不会自动产生收益；收入来自它跑出来、能卖给用户的 Token。
显卡算力固定，决定一小时能产出多少可售卖 Token 的，核心就是推理调度能力。
同一批 GPU，调度能力不同，收入差距会很大。
如果调度差的时候，显卡“摸鱼”：缓存机制简陋，多轮对话反复重算；输入和生成请求挤在一起抢算力；流量高峰拥堵，低谷又空转。
那么同样一张卡，一小时产出不了多少 Token，收入自然上不去。
而一套强大的推理调度系统，
本质就做两件事：减少无效计算，尽量不让显卡空转。
把算力优先分配给能变现的任务，让显卡持续处在有效工作状态。
硬件没变，但有效产出天差地别，收入自然拉开差距。
当然，高营收潜力不等于稳赚暴利。
Token产出变多的同时，电费、机房、硬件损耗也会同步增加。
这个数字真正的价值，是让人看到：
一套优秀的推理框架，可以直接打开单卡收入的上限。
模型权重像菜品配方，写清楚这道菜怎么做；推理框架则是厨房运营手册，规定怎么排班、备料、控流程、降损耗。
配方可以复制，
但怎么把厨房运营得高效、稳定、能赚钱，才是背后的核心能力。
不过，开源不等于普通人就能用。
DeepInfer 当前支持 NVIDIA SM100 GPU、华为昇腾 950 NPU，消费级显卡基本跑不起来；现阶段主要支持 DeepSeek-V4.1-Flash，不能直接跑任意大模型；更面向持有 GPU 集群、打算自建推理服务的企业和云厂商。
大模型竞争进入下半场，比拼的不只是模型能力，还有压低推理成本、拉高单卡利用率的工程能力。
过去行业盯着参数量、榜单和上下文长度；现在大家开始看更落地的经营指标。
AI，正在进入精细算账的阶段。
热门跟贴