三个关键参数解释: --tensor-split 0,0,0,0:四张卡平均分配模型权重,别用默认值否则全堆第一张卡上-c 131072:128K 上下文——24G 单卡跑不了,4 卡 96G 就舒服了[b>--parallel 32:最大并发数,配合下面实测用 16 路最稳
同等 96G 显存,花 4 万买 4090×4 的土豪看不上这个。但对你来说,省下 3 万块拿去升级内存、加 SSD、交电费——它香不香?
举报
本版积分规则 发表回复 回帖后跳转到最后一页
相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1