本地AI大爆发：单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快？

a669091781

本地AI大爆发：单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快？ 持续生成速度约 28 t/s，预填充 约 300 t/s。显卡是6年前的，机器是十年前的。十年前的CPU，加10年前的内存 （512 GB DDR4 2133)，在内存价格高昂的今天发挥余热、大放异彩。同一台机器上用一块 AMD 7900XT （20GB) 显卡，运行 DeepSeek v4.1-flash-1017  速度约22 t/s （使用 ROCM10.1)。另外，在 AMD  Strix Halo （128GB) 上运行 Qwen3.8-flash-next (约1200亿参数），长篇推理速度稳定在 70 t/s，预填充 1800 t/s，成为本地  Hermes 的主管。


对芯片需求的影响 。。。。

##