在使用 lama.cpp v1.0.0 连续输入约 3.3 万个 token 时,处理速度随次数增加而逐渐变慢;到第三次时,单次处理耗时已达 42 至 48 分钟。

[复制链接]
发表于 昨天 20:44 | 显示全部楼层 |阅读模式
在使用 lama.cpp v1.0.0 连续输入约 3.3 万个 token 时,处理速度随次数增加而逐渐变慢;到第三次时,单次处理耗时已达 42 至 48 分钟。
硬件配置为:RTX 5070 12GB + RTX 5060 Ti 16GB(共 2 块显卡),内存 64GB(其中 56GB 分配给 WSL2)。所用模型为 Qwen3.8-Flash-Next IQ3_S(约 78GB),无法放入 GPU 的专家参数(expert)则存储在内存中。
处理速度(读取/推理阶段)的变化如下:
・第一次:约 145 tok/s
・第二次:约 90 tok/s
・第三次:约 15 tok/s
速度呈现出明显的下降趋势。在此过程中,从 SSD 读取的数据量累计达到 705 至 848 GiB。
具体原因尚未查明。看来即使输入长度相同,连续处理时也可能无法维持原有的处理速度。
另一方面,在使用我平时常用的 Strata v0.2.12 进行测试时,处理同样约 3.3 万个 token 的输入,读取速度为 957.0 tok/s,生成速度为 59.1 tok/s(基于 3 次测试的中位数)。
在评估处理速度时,建议不要仅参考第一次的数值或中位数,最好也关注一下每次测试的具体表现。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部