在使用 lama.cpp v1.0.0 连续输入约 3.3 万个 token 时,处理速度随次数增加而逐渐变慢;到第三次时,单次处理耗时已达 42 至 48 分钟。

在使用 lama.cpp v1.0.0 连续输入约 3.3 万个 token 时,处理速度随次数增加而逐渐变慢;到第三次时,单次处理耗时已达 42 至 48 分钟。
硬件配置为:RTX 5070 12GB + RTX 5060 Ti 16GB(共 2 块显卡),内存 64GB(其中 56GB 分配给 WSL2)。所用模型为 Qwen3.8-Flash-Next IQ3_S(约 78GB),无法放入 GPU 的专家参数(expert)则存储在内存中。
处理速度(读取/推理阶段)的变化如下:
・第一次:约 145 tok/s
・第二次:约 90 tok/s
・第三次:约 15 tok/s
速度呈现出明显的下降趋势。在此过程中,从 SSD 读取的数据量累计达到 705 至 848 GiB。
具体原因尚未查明。看来即使输入长度相同,连续处理时也可能无法维持原有的处理速度。
另一方面,在使用我平时常用的 Strata v0.2.12 进行测试时,处理同样约 3.3 万个 token 的输入,读取速度为 957.0 tok/s,生成速度为 59.1 tok/s(基于 3 次测试的中位数)。
在评估处理速度时,建议不要仅参考第一次的数值或中位数,最好也关注一下每次测试的具体表现。


分类