升级换下来的旧显卡千万别挂闲鱼贱卖。

heyond

升级换下来的旧显卡千万别挂闲鱼贱卖。
一位开发者在只有 32GB 内存的主机上跑 256K 上下文的 Qwen3.8-Flash-Next 时发现：原版 Strata 引擎的低内存模式只支持单卡。一旦切分到双卡，塞不进显存的 MoE 专家层就会被迫从 SSD 硬盘读取，导致插在副槽的 RTX 4060 Ti 全程吃灰。
于是他自己动手魔改了底层 C++/CUDA 引擎，开源了 Strata-DualGPU，靠三招把异构双卡彻底榨干：
1️⃣ 跨卡共享 RAM 专家池：打通 --layer-split 下的 32GB 低内存模式，两张卡各自在显存缓存最热的专家，冷专家常驻系统内存并异步无停顿换入，彻底告别 SSD 读写。
2️⃣ 双卡异步流水线 + 强卡殿后：副卡 4060 Ti 提前解码下一步，主卡 5080 并行验证当前步。反直觉的是，把最快的 5080 放在流水线末端负责输出头和整条 CUDA Graph 草稿链，解码反而快了 12%。
3️⃣ 自蒸馏投机草稿层：基于模型自身输出微调 143,834 词表草稿头，在输出质量无损（PPL 7.24 优于原版 7.28）的前提下大幅拉高投机命中率。
同一台主机（5080 + 4060 Ti，32GB RAM）实测：
• 代码生成：从单卡 29 tok/s 暴涨至 161 tok/s（提速 5.5 倍）
• 32K 提示词预填充：从 333 tok/s 飙升至 1,940 tok/s
• 接入编程 Agent 实战峰值直接冲上 209 tok/s
你的机箱里现在有没有一张正在闲置、或者准备淘汰的旧显卡？