我将推理引擎 Strata 的新版本 v0.2.12 与我平时使用的 v0.2.12 版本进行了对比。在各种条件下,长文本输入的预填充(Prefill)速度均有所提升。

[复制链接]
发表于 昨天 19:53 | 显示全部楼层 |阅读模式
我将推理引擎 Strata 的新版本 v0.2.12 与我平时使用的 v0.2.12 版本进行了对比。在各种条件下,长文本输入的预填充(Prefill)速度均有所提升。
测试配置为:RTX 5070 12GB + RTX 5060 Ti 16GB(共 2 块显卡),内存 64GB;模型采用 Qwen3.8-Flash-Next IQ3_S,上下文上限设为 128K。模型层被分配到两块显卡上运行。
预填充(Prefill)速度(v0.2.12 → v0.2.15)
・约 1.4 万 token:358 → 556 tok/s
・约 3.2 万 token:449 → 560 tok/s
・约 12 万 token:437 → 549 tok/s
在约 1.4 万 token 的情况下,速度提升至约 1.6 倍;其他情况下则提升至约 1.25 倍。测试是在同一天使用相同的输入内容进行的。
另一方面,在文本生成阶段,大多数情况下并未观察到明显差异。
其中,约 1.4 万和 3.2 万 token 的数据取自 3 次测试的中位数,而约 12 万 token 的数据仅为单次测试结果。
目前尚未分析出导致速度提升的具体原因。至于是否将日常使用切换至 v0.2.15 版本,我还没决定好。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部