DeepSeek 前阵放出 V4.1-Flash，顺手开源了自家生产级推理引擎 DeepInfer

陈大老爷

DeepSeek 前阵放出 V4.1-Flash，顺手开源了自家生产级推理引擎 DeepInfer：单集群日吞吐 155 万亿 Token、单卡小时产出对标 38 美金，数据很炸。很多人当时慌了：vLLM、SGLang 这种通用框架，是不是要被专属引擎卷死了？

结果不到一周，答案就回来了：没翻车，反而更稳了。

SGLang 在 4×GB300 / B300 上，Prefill 吞吐跑到 DeepInfer 的 1.04 倍；64 卡 GB300 集群里，Decode 单步延迟再低 1.1%–7.4%。vLLM 更狠：单台 GB300 NVL72 机柜，靠 P/D 分离 + Wide-EP，跑出每卡 954K tokens/s，是单节点结果的 7.9 倍；按 DeepSeek 谷时价折算，每卡每小时 38.96 美金，微超原标杆。单用户低延迟路径直接干到 826 tokens/s，Decode 曲线和 DeepInfer 差距缩到 6% 以内。

为什么通用框架追得这么快？两层原因：

第一，DeepSeek 把底牌交出来了。FlashMLA、DeepGEMM、DeepEP、MegaMoE、MegaAttention、TileLang 全开源。vLLM / SGLang 直接合进主线，专属算子变成公共基础设施。

第二，工程理解到位。比如 DeepSeek-V4.1-Flash 的 KV Cache 只要 890 字节/token，Prefill 用 DEP2 比 DEP4 更稳，Decode 必须走 Wide-EP 配合 EPLB；SWA 有界重放、Engram 大页、零开销调度一叠上，性能就咬住了。

但更关键的是：DeepInfer 本质是离线引擎 + 算子库，缺了生产服务三大件——分布式 KV 复用、P/D 分离、多实例路由负载均衡。而这些正好是 vLLM / SGLang 干了三四年的老本行。

所以结论很清晰：

• 端侧极客、单卡跑千亿 MoE：Strata 这类专用小工具继续香。

• 云端生产、多模型多硬件、要稳定对外服务：vLLM + SGLang 还是默认答案。

• 未来范式不是“每家都造引擎”，而是“模型厂开源算子，通用框架做工业化承接”。

技术圈最迷人的从来不是谁短暂领跑，而是好东西几天内被整个生态吞进去。大模型推理的底层秩序没变：通用引擎，依旧是那块最硬的底座。




#

门先生

155 万亿这个量级我是真没概念，只记得自己跑推理时卡在显存那一步