10月20日，DeepSeek全面开源了内部推理框架DeepInfer。DeepSeek称，“希望通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。”
大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于一个长期未被公众了解的中间层——即推理框架。面对海量的用户调用，推理框架负责统筹调度庞大的算力集群，其效率会直接决定AI服务的算力成本。
目前，面对大规模的AI调用需求，推理框架已经从单机服务程序演变为跨集群协同的复杂系统。算子、通信、调度与缓存管理相互影响，共同决定端到端性能。对于大规模在线服务，对性能的优化需要落实到具体的部署条件中，芯片、组织硬件的方法、分配计算的方式、复用计算成果的方式都会影响性能优化。
据悉，此次DeepSeek正式开源的大规模云服务推理框架DeepInfer，帮助DeepSeek V4.1 Flash实现了高吞吐、低延迟大规模推理服务。按照DeepSeek的披露，目前单一集群的服务吞吐是155万亿Tokens/天，整体收入是每卡每小时38美元（按波谷价，每卡每小时收入253.8元）。今年6月，DeepSeek启动峰谷API定价策略，高峰期间调用价格直接翻倍，据DeepSeek定义，高峰时段为每天上午9点至12点、下午2点至6点。
值得一提的是，DeepInfer推理框架可同时在英伟达与华为昇腾平台上运行。DeepSeek的国芯叙事在今年以来逐步加强。9月底，DeepSeek已经公开面向昇腾平台的编程工具、计算库和通信库，华为团队参与了研发支持。另外有报道称，DeepSeek计划在内蒙古的新数据中心部署至少16万张昇腾950DT芯片，用于运行模型。
普通用户不会直接用到DeepInfer这一推理框架。技术博主宝玉提到，“这个框架要跑在英伟达Blackwell一代的数据中心显卡（代号SM100）或华为昇腾950上，官方测性能用了4到64张这样的卡，个人电脑跑不动。模型也只支持V4.1-Flash一个。”
“用得上的是想自己部署DeepSeek的企业和云服务商。”上述技术博主表示，企业和云服务商可以直接拿DeepSeek调好的方案，不过这次放出的只是“离线推理”部分，缓存对话前文的系统、把读输入和写输出拆到不同机器的部署方式、多台机器间的流量分配都没包含，要搭成完整的线上服务还得自己补。
采写：南都N视频记者 林文琪
热门跟贴