🚨 24G 显存直接跑通 262K 超长文!Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。

🚨 24G 显存直接跑通 262K 超长文!Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。

开源社区刚刚把千问 27B 的底层架构给彻底换血了——模型 Qwen3.8-27B-Longbook27-v2 直接把原版里剩下的 16 层全注意力全部干掉,做成了 100% 纯 Gated DeltaNet(GDN)!

这次魔改的含金量极高,专门针对长文档痛点下手:

1️⃣ 彻底干掉 KV Cache 显存爆炸:
传统的注意力机制只要上下文一长,显存就指数级暴涨。做成全层线性注意力后,显存几乎不再随输入长度膨胀,实测 262K 输入跑完整本书仅占约 55GB 显存,彻底告别 OOM。

2️⃣ 逐层蒸馏 + LoRA 恢复精度:
不是粗暴替换代码,而是通过逐层知识蒸馏与 LoRA(r32) 精细调优恢复,英日双语能力与逻辑完整保留。

3️⃣ 单张 4090 就能吃下:
4-bit(NF4)量化仅需 ~17GB 显存,意味着一张 24G 的 3090/4090 就能本地单卡全载,拿来啃大部头论文、长篇财报和整本书籍堪称降维神级神器。

📎 权重已上架 HF:summerAIO/Qwen3.8-27B-Longbook27-v2


分类