在由 40 台迷你电脑组成的集群上运行 GLM 5.3 Flash，通过 USB 3 互联，速度达 14 tps。

这是我搭建的一套计算集群，用到了 40 台迷你主机——这些设备是我之前在另一个项目中闲置下来的：

Intel N150 处理器

12 GB DDR5 4800 内存（物理带宽上限约为 33 GB/s）

无盘节点（Diskless nodes）

各节点通过 10 Gbps USB 3.2 接口连接，利用了 USB DbC（Debug Class）功能。网络拓扑采用树状结构，节点分布为 1 -> 3 -> 9 -> 27。

运行 GLM 5.3 Flash 模型时采用原生精度，并预留了足够的空间以支持 8 个 1M 长度的上下文窗口（context windows）。起初我尝试过使用 1 Gbps 的局域网（LAN）进行互联，但性能上限仅为 7 tps 左右。目前的拓扑结构表现如下：
- 上下文长度为 1k 时，性能为 14 tps；上下文长度增至 1M 时，降至 12 tps。
- 在解码阶段使用批处理（batching）时，性能最高可达约 40 tps。
- 预填充（prefill）阶段性能约为 85 tps。

实测整机峰值功耗（从墙上插座测得）约为 740W。

整个系统的搭建成本约为 5000 美元。

我还在继续优化，看看能否进一步挖掘性能潜力，重点是提升预填充阶段的表现，并计划后续加入投机解码（speculative decoding）功能。