有人拿一张卡测了五种推理引擎：
SGLang 50 并发 1725 tok/s
vLLM 1610
Ollama 还是 33 / 33 / 33，首 token 要等 381 秒
因为 Ollama 对这类混合注意力架构只开一个槽位。
自己玩用 Ollama 没问题，要上并发先换 vLLM 或 SGLang，并改默认参数。
温馨提示：SGLang 看启动日志有没有 capped to；vLLM 先把 max-num-seqs 调到真实并发。
来源：https://winder.ai/vllm-vs-ollama-vs-sglang-llm-inference-comparison/