💥同一张 H100，跑千问3.8：Ollama 永远 33 tok/s，SGLang 能到 1725

强大人

💥同一张 H100，跑千问3.8：Ollama 永远 33 tok/s，SGLang 能到 1725

有人拿一张卡测了五种推理引擎：
SGLang 50 并发 1725 tok/s
vLLM 1610
Ollama 还是 33 / 33 / 33，首 token 要等 381 秒

因为 Ollama 对这类混合注意力架构只开一个槽位。
自己玩用 Ollama 没问题，要上并发先换 vLLM 或 SGLang，并改默认参数。

温馨提示：SGLang 看启动日志有没有 capped to；vLLM 先把 max-num-seqs 调到真实并发。

来源：https://winder.ai/vllm-vs-ollama ... ference-comparison/

雪儿微笑阳光

Ollama 本来就是做本地单人玩具的，测并发确实是难为它了。生产环境上 vLLM 或者 SGLang 吞吐差距真不是一个层级的。

尹飞

说得对。个人本机玩 Ollama 没问题，上并发就得换引擎，这表里 33 对 1700 就是这个意思。