DeepSeek，公开省钱的大秘密！|deepseek|代码|英伟达|调用

出品 | 网易智能

作者 | 辰辰

编辑 | 王凤枝

DeepSeek的AI为什么这么便宜？这次，它把一部分省钱的门道公开了，同行也能拿去用。

10月20日，DeepSeek开源了自研推理框架DeepInfer。这套软件支撑着V4.1 Flash的大规模运行，负责给芯片派活，让一批批提问尽快得到回答。开发者可以免费使用、修改这些代码，也可以将其用于商业服务。

此前，开发者已经能下载DeepSeek的模型，但把同一个模型搬回自己的机房，不代表就能跑出官方那样的效率。一段反复出现的提示词，要不要每次从头算？大量用户同时提问，怎么安排任务，才能少让芯片空等？这些环节处理得好不好，最后都会体现在算力和电费账单上。DeepSeek这次公开的代码和部署文档，就介绍了它如何省下这些开销。

这套框架同时支持英伟达SM100和华为昇腾950芯片，最先用得上的是自己部署模型的企业和云厂商。不过，支撑完整线上服务的缓存管理、流量分配等组件，目前尚未完整开源。想把模型跑得像官方一样又快又省，外部团队还得补齐这些配套系统。

一、模型是菜谱，还要有个忙得过来的后厨

技术博主宝玉用“菜谱和后厨”来解释这次开源：模型文件好比菜谱，推理框架则负责接单、排队和安排计算。同样的菜谱，交给不同的后厨，一小时能接多少单、客人要等多久，可能很不一样。

运行AI也会遇到类似的问题。有人只问一句话，有人上传一份长文档，还有智能体一轮接一轮地调用模型。怎样把这些请求安排到不同芯片上，既能多处理一些任务，又不让用户等得太久，是推理框架要解决的事。

DeepSeek此前已经公开过不少相关工具。2025年2月的开源周，FlashMLA、DeepEP、DeepGEMM等项目陆续放出，分别处理注意力计算、跨设备通信和矩阵运算。此后，TileLang等工具又让开发者能更方便地编写适配芯片的计算程序。

这些组件擅长各自的工作，放到一起，还需要软件把它们组织起来。DeepInfer将多项底层优化整合进推理引擎，外部团队可以看到，它们在V4.1 Flash上如何配合运行。拿到模型权重之后，开发者多了一套来自模型厂商自身的部署实现可供参考。

二、少算重复的内容，少让芯片空等

模型上线后，每天的提问、写代码和智能体任务，都会不断产生计算开销。对提供服务的公司来说，同样一批硬件能处理多少请求，会直接影响每次调用的成本。

DeepInfer的代码和配套部署问答，披露了几种减少这些开销的办法。

先看答案是怎么生成的。模型通常逐个生成token，前一步完成后，才继续下一步。DeepInfer支持的投机解码，会先用轻量的“草稿手”预测后续内容，默认最多生成5个草稿token，再让主模型批量核对；能接受的留下，不能接受的重新生成。

核对草稿也要花算力。DSpark会预测每个草稿token被接受的概率，优先把核对工作安排给更有希望被采用的内容，减少白忙一场的计算。

按DeepSeek的部署问答，相比每步固定核对5个草稿token，动态核对让每步检查的数量减少约30%，平均被接受的长度基本不变。这里省下的是核对量；按官方基准数据估算，在接近实际生产并发量的配置下，这项调整带来的吞吐量提升约为4%至7%。

另一笔能省的开销，来自反复出现的上下文。比如，一个编程智能体连续改同一份代码，后一次请求里往往还带着前面的指令和对话。已经计算过的部分，可以通过KV缓存复用，不必每次重新处理。

DeepSeek在部署问答中介绍，它把这类中间结果存入独立的存储集群，供不同计算节点读取。这样，新的请求可以交给更空闲的机器，而不必追着某一台保存了缓存的机器排队。这是线上系统的设计说明，完整的缓存管理代码尚未随引擎一并放出。

这套缓存的规模也不小：官方披露，底层3FS文件系统为其提供约100 PiB的固态硬盘空间，智能体流量的缓存保留3天，聊天流量保留7天。聊天缓存留得更久，是因为其中少量内容会在较长时间里被反复读取，过早清掉就得重新计算。

多张卡协作时，还要防止有的卡忙不过来、有的卡在等。DeepSeek介绍，在生成答案的阶段，它会把混合专家模型中的专家分散到64张或128张卡上，减少每一步单卡需要读取的数据，并根据负载调整专家的分布。

CPU与GPU之间也能少一些等待。DeepInfer默认开启异步调度：GPU计算当前这一步时，CPU就开始准备后续任务，不必等当前计算全部结束才接着安排。

DeepSeek公布的性能曲线还展示了一个取舍：一批处理更多输入，单卡每秒能处理的总量会上升，但完成这一批计算也需要更长时间。实际提供服务时，不能只追求吞吐量最大，还要顾及用户等待答案的时间。

图：官方在英伟达SM100平台公布的预填充测试，统计未缓存输入的吞吐量与每步延迟。

三、引擎交出来了，整套服务还得自己搭

上述方法中，有些已能在开源代码里使用，有些目前主要通过部署文档介绍。DeepInfer的公开版本提供离线推理，以及大规模服务所需的核心引擎功能；要让外部用户持续接入，还需要配套系统。

官方列出的缺项包括KV缓存系统、把读取输入和生成输出分到不同机器上的部署设施，以及不同服务实例之间的负载均衡。其中，分阶段部署需要的大部分引擎功能已经实现，但外围系统并未全部提供。

这些系统决定着缓存能否及时取回、长短不同的请求怎么分流、某台机器忙不过来时任务该交给谁。DeepSeek称，缓存管理和负载均衡与内部基础设施耦合较深，代码尚未完整开源。外部团队可以参考已公开的设计，但仍要接上自己的存储、网络和服务管理系统。

X用户ReignSwords把它概括为：“他们开源了引擎，不是底盘。”他认可多个底层工具被整合到一起，也在意那些没有随之发布的组件。

ReignSwords还把这次发布形容为对2025年承诺的反转。不过，当时DeepSeek并没有说“永远不发布”。在2025年4月的说明中，团队提到内部引擎经过大量定制，难以直接搬到外部环境，小团队也缺少维护大型开源项目的精力，因此选择先向已有项目贡献独立组件和优化。这次发布扩大了代码开放的范围，基础设施依赖则仍需处理。

硬件同样限制了谁能马上用起来。当前支持列表是英伟达SM100和华为昇腾950，H100、H800、A100，以及普通消费级显卡，都不在其中。

官方还给出了一套“最小高效部署单元”：64张卡处理输入，另64张卡生成输出，共128张卡。这不是启动软件的硬性下限，文档也说明，一个预填充实例加一个解码实例可以部署；128张卡对应的是推荐的高效配置。对没有这类硬件和集群运维能力的团队来说，它暂时还不是下载后就能开张的工具。

四、英伟达之外，昇腾也有了配套引擎

DeepInfer从发布时就同时支持英伟达和华为平台。DeepSeek在设计目标中写明，要支持多家厂商的加速芯片，并尽量发挥各自的性能。

这延续了它最近在昇腾软件上的投入。9月底，DeepSeek已经公开面向昇腾平台的编程工具、计算库和通信库，华为团队参与了研发支持。底层组件解决具体计算和通信的问题，DeepInfer则进一步将它们用于模型推理。

按The New Stack援引彭博社9月报道的说法，DeepSeek计划在内蒙古的新数据中心部署至少16万张昇腾950DT芯片，用于运行模型。这仍是一项报道中的部署计划，不能算作已经投入使用的规模。

对于准备使用昇腾部署V4.1 Flash的企业，模型厂商公开相应实现，可以减少自行摸索适配方法的工作。但两种芯片同时进入支持列表，还不能证明它们已经跑出了相同的性能或成本。

目前，DeepSeek公开的性能测试使用英伟达SM100：处理输入的测试用了4张卡，生成输出的测试用了64张卡。部分帮助稳定复现输出的功能，也仅在英伟达实现中提供。昇腾用户仍需要在自己的硬件和负载下测试速度、稳定性及每次请求的开销。

五、企业能省多少，还得算整套账

有集群的企业和云厂商，是最先有条件尝试DeepInfer的一批用户。它们可以对照官方代码，检查自己现有的模型服务在哪些环节浪费了算力，再决定是整体接入，还是先采用其中的优化。

配套组件deepseek-recipe解决的则是另一个问题：同一个模型，换一家平台调用，接口行为可能对不上。用户消息怎么拼成提示词，模型输出怎么还原成回复，工具调用怎么解析，都可能影响最终使用体验。

deepseek-recipe将Messages、Chat Completions和Responses等格式的请求转成统一的对话格式，再按DeepSeek模型的要求编码，并把生成结果转回相应接口。按官方介绍，这部分处理逻辑与DeepSeek官方API对齐，第三方不必各自重写一遍。但模型推理、工具执行和HTTP服务，仍由接入方提供。

算力能省下来多少，已经引起了社区的兴趣。X账号Tradenometry引用一套第三方测算：假设每小时GPU租金为3至6美元，处理的10亿token中有97%是可复用的缓存输入，另外2%为非缓存输入、1%为输出，那么GPU租金约为0.73至1.46美元，对应非高峰时段收入约11.91美元。

在这组假设下，GPU租金只占收入的约6%至12%。不过，这张账单没有覆盖存储、网络、运维、研发等全部开销，也高度依赖缓存命中和流量构成，不能直接换算成DeepSeek的利润率或硬件回本周期。