@UnslothAI
这波量化直接把最强开源模型拉到本地可跑级别,512K 长上下文 Agent 任务全面领先:
🔹DeepSWE v1.1(512K):1-bit Unsloth 打到 68.1,远超其他量化方案(整体领先 >10%)
🔹Terminal Bench 2.1:Unsloth 最高 74.4,紧贴甚至超越 8-bit 基线(72.6)
🔹Automation Bench v1.0.6:峰值 55.3,明显压过 GSQ-RCO
🔹Aider Polyglot(128K):Unsloth 稳定在 86+ 高位,几乎无损接近基线 85.8
硬核亮点:
🔹Dynamic v3.1 算法全面优于其他量化(GSQ-RCO 等),KL 更低、准确率更高
🔹1-bit 体积从 508GB 砍到约 250GB,128GB+ RAM 就能跑(Engram SSD 卸载)
🔹Unsloth 推理最高 3x 加速,1M 上下文 + 极致 Agent 能力本地化
🔹定位:当前最强开源模型的最佳本地量化版
GGUF 直链:https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF
详细指南:https://unsloth.ai/docs/models/deepseek-v4.1-flash
#