查看: 3|回复: 0

使用 Qwen 3.8 27b 的朋友们,最好把这个图像保存下来。

[复制链接]

9

主题

1

回帖

29

积分

新手上路

积分
29
发表于 12 小时前 | 显示全部楼层 |阅读模式

使用 Qwen 3.8 27b 的朋友们,最好把这个图像保存下来。

- 大家应该大多会用 Q4_K_S,如果有余裕多用 4G 左右的 RAM 容量,就能将 BF16 基准的准确度提高约 3%。
- KV 缓存用 Q8 而不是 Q4,就能平衡速度和准确度。 ​​​

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部