[显卡与算力] 在 Strata v0.2.15 中,即使将上下文上限扩大至 256K,预填充(Prefill)速度也几乎不再下降。

[复制链接]
发表于 昨天 19:18 | 显示全部楼层 |阅读模式
在 Strata v0.2.15 中,即使将上下文上限扩大至 256K,预填充(Prefill)速度也几乎不再下降。
测试配置为:RTX 5070 12GB × 1 + RTX 5060 Ti 16GB × 1(共 2 块显卡),内存 64GB;模型采用 Qwen3.8-Flash-Next IQ3_S。
针对约 1.4 万 token 的预填充测试(取 3 次运行的中位数):
・v0.2.12:128K 上限时为 358 tok/s,256K 上限时为 185 tok/s
・v0.2.15:128K 上限时为 556 tok/s,256K 上限时为 545 tok/s
在 v0.2.12 版本中,若将上限设为 256K,即使输入内容相同,速度也会降至原来的一半左右;而在 v0.2.15 中,速度则基本保持一致。若对比两者在 256K 上限下的表现,v0.2.15 的速度约为 v0.2.12 的 2.9 倍。
此前,扩大上下文上限往往会导致处理短输入时速度也变慢,这曾是个令人困扰的问题。
不过,v0.2.15 在 256K 上限下的实测结果(545 tok/s)比我之前测得的数据(约 283 tok/s)还要慢,具体原因尚不明确。因此,在参考这一倍数差异时,建议适当打些折扣。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部