【抄作业】X99-TF + 128G DDR3 + 双 7900 XTX,Strata 和 SGLang 我全跑起来了——P2P 补丁、双实例调参、128K 长上下文实测数据全公开
先说结论:洋垃圾 X99 平台上两张 7900 XTX,能同时喂饱两条路线——Strata 跑 MoE 大模型、SGLang 双卡 TP 跑 27B。短提示 SGLang 四路聚合能干到 177 tok/s,单流 70 多;代价是上下文拉到 128K 时生成掉到 40 出头。
这帖是我一路跟着论坛几位大佬抄作业、调参数、踩坑整理出来的,配置、数据、坑三样都给你摆全,准备折腾双 A 卡的朋友照着走能少走一半弯路。
一、本机配置(抄作业先抄这张表)
配件配置
主板华南金牌 X99-TF
CPUE5-2696 v3
内存128G DDR3-1866 RECC
显卡2 × 7900 XTX
系统Ubuntu 24.04
两条路线分别试了:
Strata 0.1.50:跑 Qwen3.8-Flash-Next,GSQ-RCO IQ3_S 量化。
SGLang gfx1100 适配分支:双卡 TP=2,跑 Qwen3.8-27B(W4A16 / GPTQ int4)。
装机小插曲:装系统时是挂一块装好 Ubuntu 的 SSD,用网线连主机的另一个口子,让主机上的 Hermes 远程代劳,除了开头给权限,后面基本全是它自己在敲命令。机架还没到先散装跑,两张卡一个比一个大塞得很紧,原担心影响散热,实测开放式机架问题不大。
二、先确认链路,再折腾 P2P
装好先查两张卡的 PCIe 链路——本机两张卡分别挂在 CPU 的两个 PCIe 3.0 ×16。然后参考 xiongjie gao 的帖子加载 P2P 补丁模块(不用重编整个内核),跨卡拷贝实测:
拷贝测试结果
补丁前 · 同步跨卡拷贝2.72 GB/s
补丁后 · 同步跨卡拷贝3.00 GB/s
补丁后 · 异步跨卡拷贝10.06 GB/s(3.0×16 下已经很理想)
补丁后 · 同一 stream 调换方向1.67 GB/s(暂时没搞懂为啥这么低)
加载模块踩的三个坑,提前替你踩了:
只写 softdep 没起作用。本机 amdgpu 在 initramfs 阶段就加载了,得把 P2P 模块也塞进 initramfs,启动日志里才看到挂钩成功。
编译的内核和启动的内核版本对不上。编译时一版、重启进另一版,模块直接失效。重启前后都要确认版本。
装模块的 extra 目录不存在。得先 mkdir 再复制模块。
特别提醒:这台机器补丁前后 `hipDeviceCanAccessPeer` 都返回 1,光看这个返回值为 1 就以为到位了,会被骗——真正的效果要看异步跨卡拷贝速度有没有翻上去。
三、Strata:切层提单流,双实例跑并发
短提示(写中文散文,最多 256 token,温度 0),单流取 3 次中位数:
运行方式workers单流速度双并发聚合
单卡单实例1829.8 tok/s—
单卡单实例3031.1 tok/s—
双卡切层24 / 3036.3 tok/s—
双卡双实例每实例 918.8 tok/s35.2 tok/s
双卡双实例每实例 1420.4 tok/s37.1 tok/s(最佳)
双卡双实例每实例 1812.6 tok/s21.3 tok/s(反而变慢)
最大的体会:workers 不是越多越好。两个实例各开 18 个反而明显拖慢,试了 9 / 14 / 18 三档,本机每实例 14 最好。
怎么选:只跑一条请求 → 双卡切层更快(约 31 提到约 36);要同时处理两条 → 双实例能用,但单条速度会降。P2P 补丁后又测一轮(切层约 36.7、双实例聚合约 38.4),提升不明显,暂时没看到 Strata 生成侧的明显加速。
内存占用(用了论坛共享专家 arena 方案):
项目本机记录
共享专家 arena约 46.8 GiB
单卡单实例常驻内存约 58.6 GiB
双实例常驻内存约 63.7–64.0 GiB
每卡专家缓存约 15,047 MiB
配置上下文上限262,144 token
抄这招前先确认:arena 放在 `/dev/shm/strata-shared-arena.bin`,本机 `/dev/shm` 约 63 GiB 刚好能放下这份文件,你照配之前先看看自己可用空间够不够。
并发一个没解决的问题:两路都正常返回(聚合约 31.3),加到四路时有一路空返回——四路问题还没定位清楚。
四、SGLang TP=2:短提示四路聚合 177 tok/s
参考 flyer666 的帖子换成支持 7900 XTX 的 SGLang 分支跑 27B。环境:`StevenChenSE/sglang` 的 `gfx1100-support` 分支(提交 f84475c)、`torch 2.11.0+rocm7.2`、自编 gfx1100 的 `sgl_kernel`、双卡 TP=2、开 EAGLE 投机解码,上下文上限 196,608 token。
并发数每路生成速度聚合速度
172.8 tok/s72.8 tok/s
256.1 / 52.7 tok/s108.7 tok/s
443.6–45.1 tok/s177.4 tok/s
单流首字延迟约 0.25 秒,四路约 0.24 秒——这些都是短提示成绩。这台 X99 配双 7900 XTX,SGLang 双卡 TP 和四路并发是真跑起来了。
五、长上下文实测:从 1K 跑到 128K,曲线会给你泼冷水
短提示测完补了一组 SGLang 上下文深度测试,每轮换 nonce 测冷请求首字时间:
上下文深度实际输入 token冷请求首字时间输入÷首字生成速度
约 1K1,0320.70 秒1,474 tok/s75.4 tok/s
约 16K16,03410.83 秒1,481 tok/s55.0 tok/s
约 32K32,03224.45 秒1,310 tok/s58.2 tok/s
约 64K64,03360.37 秒1,061 tok/s51.4 tok/s
约 128K128,031168.58 秒759 tok/s43.4 tok/s
一句话读懂这张表:从 1K 到 128K,生成速度 75.4 → 43.4,掉了约 42%。跟论坛 #1714(短上下文 78.4、约 131K 时 42.0)首尾很接近,中间各档有差异。看短提示跑分的时候,务必对一下你平时实际用到的上下文长度——短提示七十多,真喂长文档就只剩四十多。
一个还没排除的干扰:这轮测试后台同时在下载 H3 配套文件。之前单独测约 134K 首次处理 116.9 秒(约 1,150 tok/s),这次约 128K 用了 168.58 秒(约 759 tok/s),可能存在资源竞争。留条经验给你:测长上下文时,把后台正在跑的任务一起记下来,方便日后对比。等停下载后会用同一套再跑一次复测。
另外缓存命中和首次读入要分开看:SGLang 复用已缓存提示时,约 67K 首字仅 0.555 秒、约 134K 仅 0.989 秒,跟首次读入完全两个量级。
六、其他踩坑清单(顺手记,能救命)
坑现象与解法
torch 版本被拉歪装依赖时曾被拉进 CUDA 版 torch。AMD 机装完务必检查 `torch.version.hip` 以及两张卡是否都可见。
大文件下载不完整分块下载 torch wheel 有片段没下全,改用支持断点续传的单连接下载。
`--gpu-stages` 后面乱加数字本版本里它是测量开关,写成 `--gpu-stages 2` 启动直接退出。
replicas 配置格式不对本机封装要求同时给出 GPU 列表,不能只填副本数量。
关于散热,评论区老哥们的血泪:大模型跑起来结温上 90 度很正常,散热差点 110 度就降频、再严重掉驱动。方案有:两张卡中间夹风扇对着吹 + 核心位置抽热风(脚本监控温度自动调速)、8000 转暴力风扇调速器压到 4000 转、或者干脆 PCIE 延长线把两张卡分开。噪音和温度,自己取舍。
七、这套配置到底图什么
它证明了一件事:洋垃圾 X99 + 128G DDR3 + 双 7900 XTX,既能用 Strata 跑较大的 MoE 模型,又能用 SGLang 双卡 TP 跑 27B。下一步是继续试长文档和多会话,看实际干活能跑多稳。MiniMax-H3 主权重已经传过来了,等配套文件和完整工作流跑通再补测试。
感谢带路的几位:分享 X99 P2P 方案的 xiongjie gao、分享 Strata 双实例方案的 farmer node、分享 SGLang 适配方案的 flyer666。我也交一份自己的作业,配置或测试里哪里不合适,欢迎指出。
你手上是几张 7900 XTX?双卡是走切层还是走双实例?评论区报个配置和实测数,我帮你对比一下这台 X99 的 177 tok/s 聚合你到底是赚是亏。