我的配置:
llama-server\
-m Qwen3.8-27B-Unleashed-UD-Q3_K_XL.gguf \
-ngl 999 -c 262144 -b 2048 -ub 512 -fa on \
--cache-type-k q4_0 --cache-type-v q4_0 \
--cache-reuse 256 \
--jinja --reasoning-effort medium \
--temperature 1 --top-p 0.95 --top-k 20 --min-p 0.0 \
--presence-penalty 0.0 --repeat-penalty 1.0
已更新所有量化指标https://huggingface.co/outsourc-e/Qwen3.8-27B-Unleashed-GGUF
新增 MTP / 视觉标志
MTP 和视觉
MTP 头部:已存在。nextn.* 多标记预测张量在数据销毁后得以保留(由父仓库重新嫁接),并保留在本文的每个量化模型中(Q6_K 处的 eh_proj)。
视觉:已打包并测试。mmproj-Unleashed-f16.gguf (0.93 GB) 位于此仓库中,它由与这些量化模型相同的父权重构建而成。据我们所知,该模型的所有其他未审查 GGUF 均为纯文本格式,因为 convert_hf_to_gguf.py 默认使用文本格式,除非您传递 --mmproj 参数,否则会丢弃 333 个视觉张量。