Alexey Fateev 用Fable 5做优化,在 4 块 RTX 3090 上运行 DeepSeek-V4-Flash 284B MoE 模型(2-bit 专家 GGUF 格式,大小 87 GB),速度从 15 token/s 提升到了 443 token/s 是在llama.cpp基础上调优的,优化后 ...
关注公众号相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1