查看: 10|回复: 0

Alexey Fateev 用Fable 5做优化

[复制链接]

16

主题

2

回帖

62

积分

注册会员

积分
62
发表于 昨天 12:22 | 显示全部楼层 |阅读模式

Alexey Fateev 用Fable 5做优化,
在 4 块 RTX 3090 上运行 DeepSeek-V4-Flash 284B MoE 模型(2-bit 专家 GGUF 格式,大小 87 GB),速度从 15 token/s 提升到了 443 token/s

是在llama.cpp基础上调优的,优化后的项目在这里:github.com/alesha-pro/llama.cpp http://t.cn/AXoB3VnV ​​​

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部