[显卡与算力] 💥Qwen3.8-27B 的 BF16，48GB 显卡都装不下

21 主题	1 回帖	75 积分

注册会员

积分: 75

发消息

发表于 2 小时前 | 显示全部楼层 |阅读模式

💥Qwen3.8-27B 的 BF16，48GB 显卡都装不下

同一模型，换格式差三倍多：
Q4_K_M 约 17.2GB，24GB 卡能跑
FP8 约 30.6GB，32GB 卡刚好
BF16 约 52.8GB，要 80GB

温馨提示：48GB 开 BF16 不是慢，是起不来。租卡前先算显存。

你卡上现在跑的是哪种？

来源：http://DEV.to VRAM 对照👇
https://dev.to/gpunz/ollama-vs-l ... ram-each-needs-3647

本帖子中包含更多资源

您需要登录才可以下载或查看，没有账号？立即注册

返回列表发新帖

关注公众号

Archiver|手机版|小黑屋|一起港湾 - AI技术分享社区

相关侵权、举报、投诉及建议等，请发 E-mail：2776601884@qq.com