X99-TF + 128G DDR3 + 双 7900 XTX,Strata 和 SGLang 我全跑起来了——P2P 补丁、双实例调参、128K 长上下文实测数据全公开
土豪姥姥 2026-11-18 22:31:41
DDR3 条子便宜到离谱,就要上 256G、512G 跑本地大模型?我劝你冷静:120B 模型足够处理隐私和抗审查,要求高就上在线 AI,先把钱赚了
国仕无双 2026-11-18 22:18:29
我没有买一张昂贵的 24GB 显卡,而是组合了两张便宜的 16GB 显卡;这种方案彻底改变了我运行本地模型的方式。
无亟 2026-11-18 20:58:58
在 Strata v0.2.15 中,即使将上下文上限扩大至 256K,预填充(Prefill)速度也几乎不再下降。
周师兄 2026-11-18 19:18:35
我使用的是 PCIe Gen4 转接卡,运行非常稳定。
郑晓锋 2026-11-18 19:16:02