查看: 9|回复: 0

一张 RTX 3090 加 192GB 内存,跑完整的 DeepSeek V4.1 Flash 1017,生成 41 tok/s。

[复制链接]

10

主题

1

回帖

32

积分

新手上路

积分
32
发表于 昨天 20:13 | 显示全部楼层 |阅读模式
一张 RTX 3090 加 192GB 内存,跑完整的 DeepSeek V4.1 Flash 1017,生成 41 tok/s。

552B 参数全在,专家权重压到 2 bit,在 Windows 上原生跑。配置是 i5-13600K、4 条 48GB DDR5-5600、NVMe 固态。

换了配置以后的速度:

1. 内存降到 128GB,生成 33 tok/s
2. 25K 到 64K 的长 prompt,prefill 610 tok/s,128GB 是 410
3. 显存 16GB 31 tok/s,12GB 17 tok/s
4. 和官方 API 逐 token 比对,首选 token 一致率 90.2%,代码和数学 92.4%

门槛主要在内存和硬盘,不在显卡。至少 128GB 内存,硬盘要空出 385GB 左右,内存不够的时候专家权重直接从 SSD 读。多个请求同时进来是排队一个个答的。

以上都是作者自己测的。一张 3090 能跑这个级别的模型,二手 3090 加大内存这条路又有意思了,前提是 DDR5 现在的价格还能接受。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部