结果不到一周,答案就回来了:没翻车,反而更稳了。
SGLang 在 4×GB300 / B300 上,Prefill 吞吐跑到 DeepInfer 的 1.04 倍;64 卡 GB300 集群里,Decode 单步延迟再低 1.1%–7.4%。vLLM 更狠:单台 GB300 NVL72 机柜,靠 P/D 分离 + Wide-EP,跑出每卡 954K tokens/s,是单节点结果的 7.9 倍;按 DeepSeek 谷时价折算,每卡每小时 38.96 美金,微超原标杆。单用户低延迟路径直接干到 826 tokens/s,Decode 曲线和 DeepInfer 差距缩到 6% 以内。
为什么通用框架追得这么快?两层原因:
第一,DeepSeek 把底牌交出来了。FlashMLA、DeepGEMM、DeepEP、MegaMoE、MegaAttention、TileLang 全开源。vLLM / SGLang 直接合进主线,专属算子变成公共基础设施。
第二,工程理解到位。比如 DeepSeek-V4.1-Flash 的 KV Cache 只要 890 字节/token,Prefill 用 DEP2 比 DEP4 更稳,Decode 必须走 Wide-EP 配合 EPLB;SWA 有界重放、Engram 大页、零开销调度一叠上,性能就咬住了。
但更关键的是:DeepInfer 本质是离线引擎 + 算子库,缺了生产服务三大件——分布式 KV 复用、P/D 分离、多实例路由负载均衡。而这些正好是 vLLM / SGLang 干了三四年的老本行。
所以结论很清晰:
• 端侧极客、单卡跑千亿 MoE:Strata 这类专用小工具继续香。
• 云端生产、多模型多硬件、要稳定对外服务:vLLM + SGLang 还是默认答案。
• 未来范式不是“每家都造引擎”,而是“模型厂开源算子,通用框架做工业化承接”。
技术圈最迷人的从来不是谁短暂领跑,而是好东西几天内被整个生态吞进去。大模型推理的底层秩序没变:通用引擎,依旧是那块最硬的底座。
#