💥16G 的 5080 跑千问3.8，更高量化不一定更快

民间编诗人

💥16G 的 5080 跑千问3.8，更高量化不一定更快

社区按仓库文件大小和配置估算：
UD-Q4_K_M 约 15.3GiB，16G 卡塞不下，得把约 2GB FFN 甩到内存，理论速度上限大概 28 tok/s。

换成 UD-IQ4_XS 全进显存，KV 用 q8_0，32K 上下文能稳住，上限大约 67 tok/s。

温馨提示：量化高一档如果逼你读系统内存，速度可能腰斩。16G 卡先求权重全在 GPU。

你本机是卡在哪一档？

来源：https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/discussions/131