1400 元垃圾佬装机,本地跑 Qwen3.8-Flash-Next,实测 30~50 token/s——400 块的 P100 教万元小主机做人

1400 元垃圾佬装机,本地跑 Qwen3.8-Flash-Next,实测 30~50 token/s——400 块的 P100 教万元小主机做人
先说结论:1000 块钱的洋垃圾主机 + 一张 400 多块捡来的 P100,总共 1400 元,本地跑千亿参数 MoE 大模型,解码 30~50 token/s。这个速度,很多万元小主机都跑不到。这期就干三件事:① 完整配置清单公开,照抄能省一半踩坑时间;② 讲清楚为什么 16 张 DDR3 服务器条子也能喂饱千亿模型;③ 把 GT710 点不亮、Above 4G Decoding 这几个必踩的坑提前给你填了。一、完整配置清单(全部二手,总价约 1400)
部件型号价格说明
主板X99 魔改 D3 版约 130 元能上 DDR3 服务器内存,这是整套方案省钱的关键
CPUE5-2673 V3约 40 元洋垃圾按斤称的代表,多核管够,推理时 CPU 只是打杂
内存服务器 DDR3 32G ×2(共 64G)约 220 元/条Strata 要求 64G 起步档,DDR3 完全够用,后面讲原因
硬盘M.2 NVMe 256G约 156 元模型 70~80G 放这里,NVMe 是硬要求,机械盘会卡死
亮机卡AST2400(BMC 芯片卡)约 80 元建议选非 N 卡,避开驱动冲突大坑,见下文
散热两铜管塔扇约 9 元老机器拆的,四铜管也就 26 元,E5 发热不大
电源700W+约 78 元亮机卡要额外供电的话,建议 850W 以上留冗余
计算卡Tesla P100 16G(HBM2)400 多元全场主角,16G HBM2 高带宽,跑分层推理简直是天选
合计—约 1400 元不含显示器键鼠
装机小提示:内存先插一条点亮,确认没问题再加第二根到 64G,出问题好排查。CPU 三角对插槽三角,放平压杆锁死——垃圾佬也要讲基本法。
二、软件方案:Strata 引擎,分层存储才是洋垃圾的救命稻草跑的不是 llama.cpp 裸跑,而是最近很火的开源推理引擎 Strata(MIT 协议,自带一键安装 + Web 界面 + OpenAI 格式本地 API)。它能让小显存老卡跑千亿模型,靠的是三板斧:
MoE 稀疏激活:Qwen3.8-Flash-Next 这个 125B 模型有两万多个专家,每生成一个 token 只激活其中一小撮,根本不需要把全部参数塞进显存。
三层存储调度:高频专家常驻 P100 的 16G 显存,大部分专家放 64G 内存,超大的 n-gram 查找表放 NVMe SSD——哪里存放就在哪里算,减少搬运。
投机解码提速:小草稿模型先猜一串 token,主模型一次批量校验,猜对就是白赚的速度。
重点来了:为什么 DDR3 也能上?因为专家命中普遍在 90% 以上,内存只在没命中时才临时搬运数据,DDR3 / DDR4 / DDR5 对这个项目差距不大。这就是 X99 D3 平台 130 块主板能进这套配置的底层逻辑——洋垃圾的春天不是没有,是 Strata 给它开了扇门。三、实测数据:30~50 token/s,万元小主机沉默了部署路径:装 Ubuntu → 开机 BIOS 必开 Above 4G Decoding(计算卡寻址的命门,看不懂就直接拍照问 AI)→ 插上 P100 → 我用 OpenCode 帮忙装驱动、部署 Strata → 选 Qwen3.8-Flash-Next 的 IQ3 量化版本,起服务开跑。
测试项实测表现
单流解码33 token/s——对一张 400 块的卡来说相当可以
Agent 任务(JS 建模场景生成)大部分时间 35+,峰值 50+
Prefill 填充速度约 300 token/s
输出质量比之前 27B 生成的场景更大、无细节硬伤;电线杆、自行车这种高翻车率物体都没画崩
横向对比一下:RTX 5070 12G 用同一套 Strata 跑 IQ3_S 是 53 token/s,Q2_0 能到 94——也就是说这张 400 块的 P100,速度大约摸到新卡旗舰一半的水平,价格是它的零头。四、三个必踩的坑,提前替你踩了
坑现象与解法
GT710 点不亮真神 GT710 装机没问题,但和 P100/V100 这类计算卡的新驱动完全不兼容,直接黑屏。我当时换 GTX960 顶上的,更优解是 AST2400 这类非 N 卡亮机卡(80 块),彻底绕开驱动冲突。
Above 4G Decoding 没开计算卡寻址需要 4G 以上地址空间,BIOS 不开这个选项卡直接不认。找不到选项就拍照问 AI,不丢人。
机械硬盘 / SSD 太小Strata 要随机读 n-gram 表,HDD 会卡在 reading the prompt;NVMe 是底线,容量按模型量化版本预留 70~90G。
彩蛋:本来这期还想测 V100,结果运输途中给我摔坏了,心力交瘁,下辈子再测吧。
五、适合抄作业的人
你是谁建议
预算 1500 内想本地跑大模型的直接抄,1400 元 30~50 token/s,同价位没有对手
手上有 DDR4/DDR5 平台的更省事,不用碰 D3 魔改板和 GT710 驱动坑,内存 64G 就位即可
只有 8G 小显存卡的能跑但明显慢,建议 12G 起步或学我直接捡 P100
受不了 Ubuntu 命令行的Strata 有 Win/Linux 一键包,但 P100 这种计算卡没显示输出,亮机卡还是得配
一句话总结:这套配置的本质是 Strata 的分层调度 + MoE 稀疏激活,把"跑千亿模型"的门槛从钱包厚度变成了动手能力。P100 16G HBM2 高带宽喂专家、DDR3 白菜价堆 64G 内存、NVMe 当第三层存储——洋垃圾三大件各司其职,1400 块换 30~50 token/s,还要什么万元小主机。
你手上有什么洋垃圾?X99、P40、还是积灰的 V100?评论区报个配置,我帮你算算用 Strata 跑 Qwen3.8-Flash-Next 能不能上 30 token/s。

分类