Strata + RTX5090 + DDR5-3600 128GB 基于 QwenFlashNext 的 6 种量化版本进行的实测

gotoback

Strata + RTX5090 + DDR5-3600 128GB
基于 QwenFlashNext 的 6 种量化版本进行的实测

■ Prefill（预填充）｜Prose（通用文本）｜Code（代码）(tok/s) 的实测结果如何？
・IQ1_M           5562｜161.0｜199.4
・Q2_0             6123｜211.5｜296.5
・IQ2_XS          5465｜212.9｜284.2
・IQ3_XXS       5196｜182.0｜221.9
・IQ3_S            5407｜163.2｜178.5
・UD-IQ4_XS  4225｜96.5｜106.6

考虑到与 Q8_0 的 Top-1 一致率，IQ3_S 似乎在各方面表现得最为均衡。

■ Prefill 速度会随输入长度变化吗？
（见第二张图）在 8k 到 127k 的范围内，Prefill 速度没有显著变化。

■ 并行性能如何？ （图3）Prose 在 8 并行下，总解码速度提升至 1.3~1.5 倍。
（图4）Code 在 2 并行及以上时，由于采用了未启用 MTP（投机采样）的默认设置进行测试，导致 C2 阶段性能下降；在 8 并行下，速度仅为 1.0~1.15 倍，基本持平。
鉴于其本身速度就很快——Prose 在 4 并行下可达 200 tok/s，即每路 50 tok/s——这确实相当快。

■ 感受
使用 IQ3_S 量化时，Prefill（预填充）速度可达 5500 tok/s，Decode（解码）速度超过 150 tok/s，表现非常迅速。
Prose 在 4 并行下总速度约为 185 tok/s，即每路约 46 tok/s，完全具备实用价值。
既然并行处理能有效提升总解码速度，那么随着后续优化的深入，并行处理方案的前景应该很不错。
接下来，我打算将其与 DGX Spark 的 QwenFlashNext 进行对比。