🎉牛逼!Qwen-3.8 27B 开源社区新奇迹!

🎉牛逼!Qwen-3.8 27B 开源社区新奇迹!

24G 显存(3090/4090)单卡即可流畅体验

有人直接把 Qwen3.8-27B 稠密模型分成了 64 个专家的 MoE 架构(活跃参数降至 17.8B)

最绝的是,作者只训练了微小的路由器(Router Healing),在全冻结专家权重的情况下成功复活了模型的知识

不仅能正常聊天、写代码,还通过定向蒸馏,把 MoE 压缩模型常见的 话痨/复读机死循环率从 69% 暴跌到 8%!

目前 llama.cpp 已经完美兼容,强烈推荐下载 Q4_K_M 格式本地尝鲜!
分类