我曾考虑再增加一块 RTX 5060 Ti 16GB，组建一套 3 GPU 系统，以用于运行本地大语言模型（LLM）。

我曾考虑再增加一块 RTX 5060 Ti 16GB，组建一套 3 GPU 系统，以用于运行本地大语言模型（LLM）。
目前我的配置是 RTX 5070 12GB + RTX 5060 Ti 16GB（双 GPU），总显存（VRAM）为 28GB，内存（RAM）为 64GB。
由于显存不足，无法在 128K 及以上的上下文长度下运行 Qwen3.8-Flash-Next IQ3_S 模型，因此我原计划通过 M.2 接口经由 OCuLink 外接第三块显卡。
不过，在尝试了 Strata v0.2.10 的 KV 流式传输（KV Streaming）功能后，我成功在现有的双 GPU 配置下实现了 256K 上下文的运行。
即使输入长度达到约 24.6 万个 Token，模型也能正常给出回答。
当然，由于这种方式将 KV 缓存保存在了内存（RAM）中，其性能表现与直接增加 GPU 硬件并不完全相同。
实际上，在处理长文本输入时，预填充（Prefill）阶段的性能确实成为了一个瓶颈。
尽管如此，能够在无需额外投资的情况下实现 256K 上下文的运行，依然是一个巨大的收获。
接下来，我打算进一步验证：究竟是通过增加显存来提升性能，还是通过软件层面的内存优化更为有效。