同一模型，换格式差三倍多：
Q4_K_M 约 17.2GB，24GB 卡能跑
FP8 约 30.6GB，32GB 卡刚好
BF16 约 52.8GB，要 80GB
温馨提示：48GB 开 BF16 不是慢，是起不来。租卡前先算显存。
你卡上现在跑的是哪种？
来源：http://DEV.to VRAM 对照👇
https://dev.to/gpunz/ollama-vs-lm-studio-vs-llamacpp-vs-vllm-which-to-pick-and-how-much-vram-each-needs-3647