Qwen 3.827b UNLEASHED 已更新 🔥

Qwen 3.827b UNLEASHED 已更新 🔥

我的配置:

llama-server\

-m Qwen3.8-27B-Unleashed-UD-Q3_K_XL.gguf \

-ngl 999 -c 262144 -b 2048 -ub 512 -fa on \

--cache-type-k q4_0 --cache-type-v q4_0 \

--cache-reuse 256 \

--jinja --reasoning-effort medium \

--temperature 1 --top-p 0.95 --top-k 20 --min-p 0.0 \

--presence-penalty 0.0 --repeat-penalty 1.0

已更新所有量化指标https://huggingface.co/outsourc-e/Qwen3.8-27B-Unleashed-GGUF

新增 MTP / 视觉标志

MTP 和视觉

MTP 头部:已存在。nextn.* 多标记预测张量在数据销毁后得以保留(由父仓库重新嫁接),并保留在本文的每个量化模型中(Q6_K 处的 eh_proj)。

视觉:已打包并测试。mmproj-Unleashed-f16.gguf (0.93 GB) 位于此仓库中,它由与这些量化模型相同的父权重构建而成。据我们所知,该模型的所有其他未审查 GGUF 均为纯文本格式,因为 convert_hf_to_gguf.py 默认使用文本格式,除非您传递 --mmproj 参数,否则会丢弃 333 个视觉张量。

分类