划重点:这绝不是「把 125B 暴力塞进 24G 显存」——那是天方夜谭。它靠的是显存和系统内存的高速协同调度,把千亿模型「拆开摊平」着跑。
一句话:显存当「常备队」、内存当「预备役」,绝大多数请求根本不用去内存捞人,所以跑得飞快。这也是为什么必须插 94G 大内存——省不了。
注意那个「32K 断崖」:16K 时还有 83.6,32K 直接掉到 48.8,接受率从 93% 崩到 58%。根因是 MTP 草稿窗口默认只有 32K,超出后「看不见」开头、草拟质量下降。加上 --mtp-window 65536 复测,32K 档从 48.8 拉回 64.5(+32%),128K、256K 也分别回升 4%~7%。这是一个参数就能救回来的坑,别误以为是自己显卡不行。
血泪教训:别看到「+12%」就以为到顶了——查表是精确匹配,dtype / N / K / ldy 四项差一个就整个回退。必须用真实负载复查覆盖率。而且这张调优表只绑「GPU 架构 + hipBLASLt 版本」,不绑模型,换模型直接沿用不用重调。另外该更新在 12K 长文场景还把 prefill 从 480 干到 819(+70%+),官方更新日志里都没单独吹。
但代价要讲清楚:IQ3_S 压到 3.25 bit,面对复杂代码逻辑、长文数学推理会有轻微精度损失。日常主力用更稳的档,纯冲吞吐再上更狠的档。别无脑换最狠的。
正因为是「125B 只激活 6B」的 MoE,才有了「小显存吃大模型」的前提—— dense 模型(比如同系列的 27B)反而没法这么摊平跑。
几句避坑大实话:① 94G 大内存省不了,MoE 分流全靠它兜底;② 麒麟等带混合 cgroup 的系统会让内存预算失效,可能要打补丁重编译;③ 页锁定 + GPU 跨 PCIe 会导致长文随机乱码(短测发现不了!),把 RESIDENT_PIN 设 0;④ 思考模式默认开,小 max_tokens 请求容易吐空正文,记得设 reasoning_effort。
您需要 登录 才可以下载或查看,没有账号?立即注册
举报
本版积分规则 发表回复 回帖后跳转到最后一页
相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1