谁说 A 卡跑 AI 只能看热闹?一张 4000 块二手 7900 XTX,把 125B 千亿大模型干到近 200 Tokens/s——24GB 显存跑 256K 超长上下文,36 轮极限高压 0 报错

[复制链接]
发表于 昨天 13:22 | 显示全部楼层 |阅读模式
谁说 A 卡跑 AI 只能看热闹?一张 4000 块二手 7900 XTX,把 125B 千亿大模型干到近 200 Tokens/s——24GB 显存跑 256K 超长上下文,36 轮极限高压 0 报错
先给各位老哥上结论:这条视频最炸的地方,是它把「消费级 A 卡跑不动千亿模型」这句老话彻底锤碎了。一位老哥用一张二手 RX 7900 XTX(24GB)+ 老款锐龙 3700X + 94G 普通内存,靠一个叫 Strata 的本地推理引擎,把 Qwen3.8-Flash(125B 混合专家)跑了起来:2.4 万 token 输入下,单次生成峰值直接冲到 199.67 token/s,连续五十多轮高压平均仍稳在 150;长文预填充 64K 档实测 3455 token/s;更狠的是从 32K、64K 一路拉满到 26 万 token 的 256K 超大输入,整整 36 轮一把过、一次没崩。今天把这套「小显存吃下千亿模型」的原理、八档实测数据、以及踩过的坑,一次盘清。



一、先亮硬件与战绩:一张 4000 块的卡,凭什么
项目配置
显卡AMD RX 7900 XTX(二手,约 4000 元)· 24GB · RDNA3 / gfx1100
CPU锐龙 R7 3700X(老平台)
内存94GB 普通内存(注意不是服务器级)
系统 / 后端Ubuntu + ROCm / HIP(全程不碰 CUDA、不碰 N 卡)
模型Qwen3.8-Flash-Next(125B MoE,仅激活约 6B)
推理引擎Strata(专为 A 卡做的 MoE 本地引擎)

核心战绩(真机录屏抓的):
指标实测值
峰值生成速度(24K 输入)199.67 token/s
连续 50+ 轮平均生成约 150 token/s
Decode 生成中位数83.4 token/s
长文预填充 Prefill(64K)3455 token/s
超长上下文稳定性32K→64K→256K(26 万 token)36 轮全过,0 报错中断
显存占用吃到 99%(贴满,没炸)

划重点:这绝不是「把 125B 暴力塞进 24G 显存」——那是天方夜谭。它靠的是显存和系统内存的高速协同调度,把千亿模型「拆开摊平」着跑。



二、24G 显存凭什么装得下 125B?关键是「MoE 动态专家流」
很多人第一个疑问就是:24G 怎么可能装 125B?答案在这颗模型的混合专家(MoE)结构上。125B 是总参数,但每生成一个词,并不需要激活全部专家——实测它只激活约 6B。
引擎做了一套「热点专家常驻显存、冷门专家常驻内存」的动态分流:
机制做法与效果
热点专家进显存把访问最频繁的约 9283 个热点专家常驻 7900 XTX 显存,约占用 17.6GB
冷门专家留内存其余冷门专家常驻 94G 系统内存,由 CPU 线程池协同计算
命中率才是命根子实测显存专家命中率常年维持 94%~99%,彻底避免了「跨 PCIe 总线反复搬权重」的要命卡顿

一句话:显存当「常备队」、内存当「预备役」,绝大多数请求根本不用去内存捞人,所以跑得飞快。这也是为什么必须插 94G 大内存——省不了。



三、为什么长文预填充能飙到 3455?靠 RDNA3 指令级重构
以前很多引擎在 A 卡上「水土不服」,矩阵核心根本喂不饱。这套方案针对 RDNA3(gfx1100)做了底层重构:



    []全面开启 WMA 硬件矩阵加速,配合专门调优的 hipBLASLt 配置;
    []把注意力计算和算子在显卡内部深度融合,铲平任务等待的「空转气泡」(用 EarlyPLE 提前激活标志位,消灭主卡验证图和 CPU 之间的微秒级时差);
  • 预填充吞吐因此被打满,64K 档干到 3455 token/s。



四、近 200 token/s 的爆发从哪来?MTP 多词投机解码
普通解码像新手打字——敲一下、看一眼;MTP 像老司机带徒弟:草稿头提前盲猜后面 4 个词,主模型扫一眼、认可就直接一并「拍」出来。在这套代码/规律文本场景下,草稿接受率有六成以上,特定场景直接带来明显提速,把峰值推到接近 200。


五、八档上下文全量实测:prefill 与 decode 到底怎么变(附配图)
同机在 Strata 引擎下的八档实测(每档全新随机 prompt、真全量 prefill、固定生成 256 token):
上下文Prefill 预填充 (token/s)Decode 生成 (token/s)草稿接受率
1K55567.195%
4K1,13983.098%
8K1,45382.791%
16K1,56883.693%
32K1,602(峰值)48.8(断崖)58%
64K1,55963.982%
128K1,44252.365%
256K1,25847.754%

注意那个「32K 断崖」:16K 时还有 83.6,32K 直接掉到 48.8,接受率从 93% 崩到 58%。根因是 MTP 草稿窗口默认只有 32K,超出后「看不见」开头、草拟质量下降。加上 --mtp-window 65536 复测,32K 档从 48.8 拉回 64.5(+32%),128K、256K 也分别回升 4%~7%。这是一个参数就能救回来的坑,别误以为是自己显卡不行。



六、连引擎更新都能「凭空榨性能」:hipBLASLt 版本坑
这套实测里最容易被忽略、却最涨知识的一个坑:官方给的调优表版本是 100200,本机 hipBLASLt 是 100401,版本不等 → 引擎静默回退到慢速路径。作者用自带调优器重新调了三遍:
迭代做法Prefill
基线回退到慢速路径743 token/s
第 1 次调优器默认只覆盖 3 个形状835(+12.4%)
第 2 次补齐原表全部 15 个形状1,179(+58.7%)
第 3 次开 VERBOSE 查真实负载、补 2 个盲区形状回退率 55.1% → 0%

血泪教训:别看到「+12%」就以为到顶了——查表是精确匹配,dtype / N / K / ldy 四项差一个就整个回退。必须用真实负载复查覆盖率。而且这张调优表只绑「GPU 架构 + hipBLASLt 版本」,不绑模型,换模型直接沿用不用重调。另外该更新在 12K 长文场景还把 prefill 从 480 干到 819(+70%+),官方更新日志里都没单独吹。




七、量化档怎么选?换个权重还能更快
同一套引擎,换更狠的量化档还能再往上顶天花板:
量化档比特数特点
IQ4_XS(生产默认)约 4.25 bit质量优先,稳定;长文解码 ~50 token/s,prefill ~819
IQ3_S(官方推荐冲速度)约 3.25 bit专家更小→单卡常驻专家槽位 7272→9064(+24.6%),内存省 13G,命中率 82%→92%,峰值冲到 57.6 token/s(旧基线 +51.6%)

但代价要讲清楚:IQ3_S 压到 3.25 bit,面对复杂代码逻辑、长文数学推理会有轻微精度损失。日常主力用更稳的档,纯冲吞吐再上更狠的档。别无脑换最狠的。



八、顺便看看 Qwen3.8-Flash 什么来头(官方口径)
能跑起来只是第一步,底座本身也得能打。Qwen3.8-Flash 官方规格:
项目规格
参数总参数 125B,仅激活约 6B(Qwen4 架构预览,GDN + QSA 混合注意力)
上下文原生支持 100 万 token,最大思维链 262K
模态文本 + 图像 + 视频 + PDF 理解,多模态智能体
代表成绩SWE-bench Pro 62.5(超 Claude Opus 4.6 的 53.4)、CoWorkBench 73.9、AndroidWorld 84.5

正因为是「125B 只激活 6B」的 MoE,才有了「小显存吃大模型」的前提—— dense 模型(比如同系列的 27B)反而没法这么摊平跑。



九、想抄作业?先认清这套方案适合谁
适合不适合
手里是 7900 XTX 等 24G A 卡、想吃透性价比的本地党只有 8G/12G 小显存 A 卡的人(大内存 + 24G 是硬门槛)
能接受 Linux + ROCm 折腾、追求「千亿模型本地化」完全不想碰命令行、只想开箱即用的小白
主力跑长文/多轮对话、在意 prefill 速度的想拿它做大规模分布式训练 / FP8 训练的(ROCm 这块仍弱)

几句避坑大实话:① 94G 大内存省不了,MoE 分流全靠它兜底;② 麒麟等带混合 cgroup 的系统会让内存预算失效,可能要打补丁重编译;③ 页锁定 + GPU 跨 PCIe 会导致长文随机乱码(短测发现不了!),把 RESIDENT_PIN 设 0;④ 思考模式默认开,小 max_tokens 请求容易吐空正文,记得设 reasoning_effort。




一句话总结
这张 4000 块的二手 7900 XTX 用近 200 token/s、256K 超长上下文 36 轮 0 报错,干了一件很提气的事:把「跑千亿大模型 = 必须堆 N 卡 / 上云」这个默认前提,硬生生撬开了一道缝。靠的不是玄学,是 MoE 动态专家分流 + RDNA3 指令级重构 + MTP 投机解码三件套的协同——A 卡的底层潜力,是真的被社区一点点榨出来了。对预算敏感的本地部署党来说,这条路线值得认真看一眼。
评论区聊聊:你现在是 N 卡党还是 A 卡党?手里什么卡、多大内存?有没有也在折腾 Strata / llama.cpp 跑 MoE 大模型的,报个「卡 + 内存 + 量化档 + 实测 tok/s」,咱们一起对一下你这套离「近 200」还差几步。


数据出处:本视频为「玩客笔记」(@Chen_Yang) 真机实测录屏口径(二手 7900 XTX 24GB + 3700X + 94G 内存、Strata 引擎、峰值 199.67 / 平均 150 / 中位 83.4 / 64K prefill 3455、9283 热点专家占 17.6G、命中率 94%~99%、WMA + hipBLASLt + EarlyPLE、MTP 盲猜 4 词接受率六成+、36 轮 256K 全过);八档 prefill/decode 明细、32K MTP 窗口断崖、hipBLASLt 调优三迭代(743→1179、+58.7%)、IQ3_S 专家槽位 7272→9064 等取自同机型 Strata 社区实测长文;Qwen3.8-Flash 规格与评测取自千问官方模型页。各来源量化档与引擎版本不同、速度略有差异,均为社区真机实测而非官方 benchmark;部署参数请以你所用引擎官方文档为准。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部