一万块攒出 96G 显存!4 张 Tesla P40 跑 Qwen3.5-35B-A3B 多模态,单流 44 tok/s、16 并发吞吐 103 tok/s——2026 年最便宜的"跑大模型不寒碜"方案


一万块攒出 96G 显存!4 张 Tesla P40 跑 Qwen3.5-35B-A3B 多模态,单流 44 tok/s、16 并发吞吐 103 tok/s——2026 年最便宜的"跑大模型不寒碜"方案

先抛结论:不到一万块,4 张 Tesla P40 堆出 96GB 显存,跑 Qwen3.5-35B-A3B 单流 44 tok/s、16 并发 103 tok/s、支持图片输入、128K 上下文——同等显存的 4090×4 要四万多,A100 80G 更是天价。这就是 2026 年你花一万块能买到的最炸裂的本地大模型性价比。

这帖把我踩完所有坑之后整理出来的配置、部署步骤、实测数据、优缺点全给你摆全。想抄作业的兄弟往下看,想省时间的看最后一段就行。


一、为什么是 P40?先把"显存单价"这笔账算死

2026 年二手市场,Tesla P40 单卡 24G 显存,价格 1590–2250 元。4 张加起来不到 7500。
作为对比:

4090 单卡 24G,二手 8000+;4 张 = 32000+
A100 80G,二手 2 万起步,还得找渠道
4×P40 = 96G,总价 7500——显存单价约 78 元/G
4×4090 = 96G,总价 32000+——显存单价约 333 元/G


显存单价差四倍多,这是 P40 唯一的、也是最大的杀手锏。至于架构老旧、没有 Tensor Core、带宽拉胯——后面说,都有解法。


二、全套配置清单(抄作业先抄这张表)


部件规格数量二手单价小计备注
Supermicro 7048GR-TR4U 机架,8 卡位11280–1990约 1600含双路 E5,PCIe 通道管够
Tesla P4024GB GDDR541590–2250约 7200Pascal 经典企业计算卡
系统内存DDR4 16GB ECC1600–800约 700ECC 推荐,长时间跑稳
系统盘480GB SSD1150150够用就行
总计———≈ 9650含运费税费不到 1.1 万


整机功耗提醒:4 张 P40 理论 TDP 每张约 250W,满载 1000W 起步。电源必须 1600W+,普通家用插座别想扛。电费是长期成本,自己掂量。


三、部署全步骤(亲测可用)

1. 装系统 + 装驱动
装 Ubuntu 22.04,NVIDIA 官网搜 P40 驱动,一直有更新到 CUDA 12.x。P40 默认 TCC 模式(计算专用),任务管理器看不到——只跑模型就用 TCC,别折腾 WDDM 魔改驱动,那个 CUDA 版本旧还不稳定。

2. 编译 llama.cpp(P40 关键参数)

cd ~ && git clone --depth 1 https://github.com/ggerganov/llama.cpp.git
cd llama.cpp && mkdir -p build && cd build
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
cmake .. -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=61 -DGGML_CUDA_F16=ON
make -j$(nproc) llama-server


重点:`-DCMAKE_CUDA_ARCHITECTURES=61`——P40 是 Pascal SM 6.1,写错了跑不起来。这是最大的坑,我第一次就是写成 75 然后各种报错查了两天。

3. 下载模型(主模型 + 多模态投影)
用 Python 脚本从 HuggingFace 拉 Qwen3.5-35B-A3B 的 Q5_K_M 量化版本 + mmproj 文件。模型本体约 23GB,mmproj 另算。

4. 启动命令(核心,抄这行)

./llama-server \
-m ~/models/Qwen3.5-35B-A3B-Q5_K_M.gguf \
--mmproj ~/models/mmproj-Qwen3.5-35B-A3B-f16.gguf \
--host 0.0.0.0 --port 8000 \
-ngl 99 --tensor-split 0,0,0,0 \
-c 131072 --ctx-size 131072 \
--parallel 32 --batch-size 8192 --ubatch-size 2048 \
--no-warmup --flash-attn on \
--threads $(nproc)


三个关键参数解释:

--tensor-split 0,0,0,0:四张卡平均分配模型权重,别用默认值否则全堆第一张卡上
-c 131072:128K 上下文——24G 单卡跑不了,4 卡 96G 就舒服了
[b>--parallel 32:最大并发数,配合下面实测用 16 路最稳


四、实测数据(每一组都跑了 3 次取中位数)


测试场景并发数上下文单请求速度总吞吐备注
单客户端对话1128K44.3 tok/s44 tok/s首字延迟约 800ms
16 并发压测16128K—103.6 tok/s总耗时 79s 生成 8192 tokens
图片输入(Cherry Studio)多轮128K正常正常加 --mmproj 就支持,无报错


nvidia-smi 截图验证:4 张卡负载均匀,每张卡显存占用约 18–20GB(模型权重分摊 + KV Cache 吃剩余空间)。利用率拉满。

作为对比(同帖引用的其他方案数据):


方案显存模型速度成本
4×P40(本机)96GQwen3.5-35B-A3B Q5_K_M44 / 103.6约 1 万
单卡 PRO5000 48G48Gqwen3.8-flash-next IQ3_S (Strata)160–260约 2.5 万
双卡 7900 XTX48Gqwen3.8-flash-next IQ3_S (Strata)35–55约 1.5 万
双卡 R970064Gqwen3.8-flash-next IQ3_S (Strata)50–70约 2 万


看到没:P40 方案速度不算最快,但成本是别人的一半到三分之一。它不是用来跟 PRO5000 比速度的——它是用来跟"花 4 万买 4090×4"比性价比的。


五、P40 的坑,全给你提前踩了


坑现象与解法
散热!散热!散热!P40 被动散热设计,机箱里没风道直接过热降频。必须自己加涡轮风扇(淘宝 3D 打印的涡轮导风罩+风扇模组约 38 元/张)。配合 FanControl 软件调速:待机 1200 转安静,跑模型拉到 4500 转,噪音像吹风机但能压住。满速 5000 转那声音像服务器开机——人在旁边坐不住。
CUDA 架构必须写对cmake 里 `-DCMAKE_CUDA_ARCHITECTURES=61`。写成 75/80/86 直接编译报错或者跑起来乱码。P40 是 SM 6.1,别搞混。
TCC vs WDDMTCC 模式跑模型效率最高;WDDM 魔改驱动能让任务管理器看到卡,但 CUDA 只到 12.3 且不稳定。跑模型用 TCC,别折腾。
没有 Tensor Corellama.cpp 用 CUDA Core 模拟矩阵运算,慢但能跑。新架构框架(SGLang、最新 vLLM)不支持 Pascal——后续新模型更新要等 llama.cpp 适配,可能慢半拍。
供电与功耗4 卡满载 1000W+,电源必须 1600W。部分旧主板 PCIe 供电不足会限制显卡功耗释放(X79 上出现过——功耗上不去,速度直接腰斩)。Supermicro 7048GR 原生 8 卡位供电管够,别省这块的钱。
跨卡通信P40 没有 NVLink,跨卡通信全走 PCIe。llama.cpp 的 tensor-split 均分能缓解(每张卡独立算自己的层),但大 batch 时 PCIe 带宽是瓶颈。日常 16 并发以内感知不明显。



六、这套方案到底图什么

它证明了一件事:一万块就能在本地跑 35B MoE 多模态大模型、128K 上下文、100+ tok/s 吞吐、支持图片输入。

同等 96G 显存,花 4 万买 4090×4 的土豪看不上这个。但对你来说,省下 3 万块拿去升级内存、加 SSD、交电费——它香不香?
适合谁上这套:

预算严格卡在一万以内,想跑 35B+ 大模型的朋友
愿意折腾 Linux + 命令行,不嫌折腾的
家里电费便宜、有独立空间放服务器噪音的
主要用来跑本地工作流(写作、翻译、知识问答),不追求极致响应速度的


不适合谁:

怕折腾、不想装 Linux 的(Strata 有 Windows 版但 P40 跑 Strata 还没适配好)
对首字延迟极敏感、要"秒回"体验的
家里电费贵的——4 卡满载一天 20 度电起步



一句话总结

Tesla P40 在 2026 年的定位很清晰:它不是最快的卡,但它是最便宜的"能让你跑 35B 多模态"的卡。一万块 96G 显存、44 tok/s 单流、103 tok/s 并发——这个成绩单放在 2026 年,性价比依然没有对手。

你手上有几张 P40?还是更想上 V100 单卡省事?评论区报一下你的"洋垃圾"配置和目标模型,我帮你算算这笔账到底划不划算。
分类