DeepSeek又开源了。这次不是模型，是跑模型的引擎。
10月20日，DeepInfer在Hacker News拿到2118分，GitHub仓库四天涨到1.2万星。官方披露的数据极具冲击力：单集群日吞吐155万亿Token，每卡每小时收入38美元，海外社媒据此推算推理毛利率84%到96%。
数字很漂亮。但我翻到README最后一节，看到一行小标题：“完整推理服务还需要，但本版本不含”。
点进去，三项：KV cache系统、Prefill与Decode的分离调度、跨数据并行副本的负载均衡。
38美元是DeepSeek的收入，不是你的省钱。 这三项缺的，恰好是“能跑起来”和“能扛生产流量”之间的全部距离。
先把这个“38美元”的口径说清楚
38美元是按谷电时段的定价算出来的收入，不是利润，也没有扣除设备折旧、带宽、运维和缓存存储。
它的底层逻辑藏在DeepSeek公布的线上数据里。平均输入缓存命中率96%，意味着绝大多数输入Token是以极低的缓存价格结算的；真正跑计算的只有那4%的未命中输入和输出。Prefill阶段每卡不含缓存命中时吞吐60K tps，含缓存命中时冲到1.5M tps；Decode阶段每卡14K tps，吐字速度230 tps，代码场景能到300。首字延迟平均400毫秒，P99约1000毫秒。
社区测算的毛利率区间，建立在“97%输入命中缓存、2%未命中、1%输出”的流量结构上，再叠加H100级别GPU每小时1.5到6美元的租赁成本假设。假设换了，结论就换了。 但有一点是确定的：高毛利的第一驱动力是缓存命中率，不是推理框架本身有多快。
开源的是计算路径，服务层被留在了内部
OrcaRouter的解析说得很直接：你得到的是计算路径——内核、并行、推测解码、调度、结构化输出。你没有得到的是存储与路由层，而正是它让计算路径能够在大规模下以低成本运行。
KV cache系统负责在请求之间复用已经算过的上下文。没有它，每个新请求都从零开始算，缓存命中率96%那个成本优势直接消失。Prefill与Decode分离调度负责把“读输入”和“写输出”拆到不同的资源池里，避免两种负载互相拖累。跨副本负载均衡负责在多个数据并行副本之间分配请求，没有它，扩副本只能靠人肉运维。
DeepSeek给出的不包含理由是：这些组件与内部基础设施紧密耦合，设计在技术文章里写了，代码留在内部。
翻译成大白话：引擎给你了，变速箱、油箱和方向盘没给。 你可以把引擎点着火听个响，但开不上路。
和vLLM、SGLang到底是什么关系
DeepInfer不是凭空造出来的。README自己写了：最初主要基于vLLM构建，同时借鉴了SGLang和TensorRT-LLM的设计。
所以“DeepSeek的引擎比vLLM快很多倍”这个说法，vLLM官方并不认账，回应是“vLLM就是还原DeepSeek性能所需的一切”。
选型逻辑其实很清楚：DeepInfer是专用引擎，只服务V4.1-Flash一个模型；vLLM和SGLang是通用引擎，支持数百个模型。硬件受限选vLLM，多轮对话和RAG高吞吐选SGLang，追求官方调优基准或者需要昇腾支持选DeepInfer。
还有一个容易被忽略的细节：DeepInfer的确定性推理（batch-invariant inference）只支持英伟达，昇腾路径没有。如果你既要可复现、又要用国产卡，这两件事目前不能同时成立。
那它到底开源了什么值得看的东西
三项缺失之外，仓库里确实有硬货。
DSpark推测解码，验证长度是调度出来的，不是固定的；SWA Bounded Replay，避免滑动窗口注意力的缓存因为一次未命中就被迫全量重算；异步批调度，CPU组织batch和设备计算重叠，默认开启；结构化输出，受正则、JSON schema或EBNF约束。还有配套的deepseek-recipe，用Rust写的Token编解码组件，确保自托管时的请求渲染和官方API完全对齐。
这些东西对已经在跑DeepSeek模型的云厂商和推理服务商有直接参考价值。它们本来就有KV cache、有调度、有负载均衡，缺的正是DeepSeek在V4.1-Flash上做的那些专项调优。DeepInfer补的是它们的“最后一公里”，不是你的“从零到一”。普通人想自托管，账根本算不过来
硬件门槛是第一道墙。基准是在4块SM100 GPU上测Prefill、64块SM100上测Decode跑出来的。权重下载就510GB起步，普通显卡连加载都做不到。
退一步说，就算你有卡，缺的那三项也得自己补。腾讯云那篇文章的作者说得很实在：单容器跑通一个AI服务只要一个下午，但要扛并发、要扩副本，调度和缓存全是另起炉灶的活。
对个人开发者来说，最务实的选择恰恰是不碰自托管。 直接在应用里调用DeepSeek的API，比租卡、补服务层、扛运维便宜得多，也省心得多。DeepInfer对你的价值，是让你看懂“你付的API费用里到底在为什么买单”，不是让你自己变成一个小号DeepSeek。
那它到底开源了什么值得看的东西
三项缺失之外，仓库里确实有硬货。
DSpark推测解码，验证长度是调度出来的，不是固定的；SWA Bounded Replay，避免滑动窗口注意力的缓存因为一次未命中就被迫全量重算；异步批调度，CPU组织batch和设备计算重叠，默认开启；结构化输出，受正则、JSON schema或EBNF约束。还有配套的deepseek-recipe，用Rust写的Token编解码组件，确保自托管时的请求渲染和官方API完全对齐。
这些东西对已经在跑DeepSeek模型的云厂商和推理服务商有直接参考价值。它们本来就有KV cache、有调度、有负载均衡，缺的正是DeepSeek在V4.1-Flash上做的那些专项调优。DeepInfer补的是它们的“最后一公里”，不是你的“从零到一”。
还有一件README不会写的事
10月19日，美国国土安全部发布命令，把DeepSeek产品从联邦民事机构排除，范围明确包含“使用DeepSeek实现方案开发的第三方产品和服务”，但对微调、蒸馏的认定标准没有说明。
这意味着，如果你基于DeepInfer和V4.1-Flash做了一套服务，来源合规性需要你自己判断，没有一个现成的清单可以对照。边界被写清楚了，来源只能自己证明。
这不是DeepInfer独有的问题，是所有基于开源权重做商业化的人都要面对的事。但既然你要把一个“缺了三样”的引擎接进生产环境，这件事至少值得在动手之前想一遍。
38美元是一个信号，不是一张邀请函。 它告诉你推理生意有多赚钱，也告诉你赚钱的前提是缓存命中率、是调度、是负载均衡——而这三样，恰好是开源版没给的那三样。DeepSeek把账本摊开了一半，另一半留在了自己手里。对绝大多数人来说，看懂这一半，比拿到那一半更值钱。
热门跟贴