外观虽不美观,但效果相当不错:4xR9700 & EXL3 2.25bpw DS4.1 配置下,编码速度可达 415 tok/s,预填充(prefill)速度可达 6300 tok/s。

[复制链接]
发表于 昨天 21:31 | 显示全部楼层 |阅读模式



(解码,而非编码……)

机箱还没到(决定试试 Inter-Tech 4W2),所以我利用这段时间,致力于挖掘该系统的最佳性能。目前的重点是 EXL3 以及 DS 4.1 Flash 和 Qwen Flash Next。当前测试数据如下:


[tr][th]Measure[/th][th]DeepSeek, stock 300 W[/th][th]DeepSeek, 210 W[/th][th]Qwen, stock 300 W[/th][th]Qwen, 210 W[/th][/tr]
1 request107 prose / 187 code103 prose / 177 code269265
4 requests247227635607
8 requests305282849810
16 requests3463191,1231,075
24 requests3753421,2491,183
32 requests4153781,3451,284
Prefill 16k4,4804,2909,4209,090
Prefill 64k5,9805,4809,5409,220
Prefill 128k6,3305,6409,4009,090



我之前曾在这里发帖介绍过这套系统:https://www.reddit.com/r/LocalLL ... f_225bpw_pp_61k_c1/

你可以在此代码仓库中获取相关代码、硬件优化方案等内容:https://github.com/mikoskinen/r9700-exact-serving

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部