💥千问3.8-27B,有人把接近 BF16 的量化压到 18.9GB

💥千问3.8-27B,有人把接近 BF16 的量化压到 18.9GB

叫 SLQ,统计无损量化。
相对 BF16,top10 token 概率重合约 98%(EAR@10)。
三档:18.9GB / 20.7GB / 23.7GB。
纯文本,视觉塔砍掉了,MTP 还在。

温馨提示:概率接近不等于每句答得一样。你本地跑过哪档?

来源:Hugging Face👇
https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF



分类