声明:我来自 Autonomous 公司。我们专门构建用于本地 AI 运算的多显卡工作站,既包括通过 PCIe 延长线(riser)连接的显卡,也包括直接插在主板上的显卡。以下内容基于我们客户的实际反馈,而非单纯的规格参数。我们已将设计方案开源,仓库链接见评论区。
当显卡数量超过 2 张时,插槽间距便成了决定装机方案的关键。
主板上的插槽位置是固定的。我们常用的显卡厚度通常在 3 到 3.5 个插槽位之间。如果直接插入主板,第二张卡就会占用本应留给第三张卡的空间。此时你只有两个选择:要么减少显卡数量,要么费力寻找厚度仅占 2 个插槽位的型号。
使用 PCIe 延长线后,显卡厚度不再限制显卡数量,插槽位置也不再决定显卡在机箱内的具体摆放位置。客户反馈中最常见的一点是:他们终于可以购买任何有现货的显卡,而无需纠结其物理尺寸是否适配。
2. 使用延长线,外观更整洁
虽然这不是最主要的原因,但延长线确实提供了更大的布局自由度。显卡可以整齐地排列,线缆也能按需规整;此外,你无需担心 2 公斤重的显卡会给插槽带来过大压力——因为此时支撑重量的任务由机箱框架承担了。
3. 气流散热
如果将开放式散热的显卡直接紧挨着插在主板上,第一张卡的进风风扇距离第二张卡的背板仅有几毫米。这意味着上方的显卡会吸入下方显卡排出的热风。对于某些显卡型号而言,这几乎完全堵塞了进风口。
通过使用延长线,我们可以拉开显卡之间的间距,并将每张卡的进风口朝向机箱的进风风扇,从而确保没有任何一张卡会吸入其他显卡排出的热风。
4. 权衡与取舍
在我们的设计中,我们采用了定制的编织型 Gen5 x16 延长线(每根线缆均有独立屏蔽),而非普通的扁平排线。即便如此,在传输速率方面仍存在一定的余量。Gen5 是理论最高速率,而非绝对保证。在某些情况下,部分线缆可能会自动降级至 Gen4 x16 运行,而其他线缆仍能保持在 Gen5 速率。即便线缆型号和规格完全相同,也可能出现链路速率不一致的情况。通道宽度保持为 x16
性能代价:
Gen5 x16 的单向带宽约为 63 GB/s;Gen4 x16 约为 32 GB/s。
在单卡推理或跨卡分层推理(llama.cpp 的默认方式)中,模型加载完成后的数据传输量较小,其影响主要体现在模型加载耗时上。
若采用张量并行(Tensor Parallel,如 vLLM / SGLang,TP=4),每一层计算都需要进行 all-reduce 通信,且整体速度受限于最慢的链路。在这种情况下,如果 Gen5 系统中混入了一张 Gen4 显卡,性能瓶颈便会显现出来。
因此,采用“直接插槽”安装方式(无需转接线或额外连接器)能确保获得原始的 PCIe 带宽与速度。这种方式最适合占用 2 个插槽的涡轮散热显卡(例如 Pro 6000 Max-Q),因为它们本身就是为密集堆叠而设计的。但如果你的显卡厚度超过 3.6 个插槽,或者并非开放式散热设计,则建议考虑使用转接线(riser)。