[显卡与算力] 在更新推理引擎时,默认设置的变更有时会对结果产生比新功能更大的影响。 Strata v0.2.17 版本就是如此。

[复制链接]
发表于 昨天 23:23 | 显示全部楼层 |阅读模式
在更新推理引擎时,默认设置的变更有时会对结果产生比新功能更大的影响。 Strata v0.2.17 版本就是如此。
测试环境配置为:1 张 RTX 5070 12GB 显卡 + 1 张 RTX 5060 Ti 16GB 显卡(共 2 张),搭配 Ryzen 5 7600 处理器和 64GB 内存,运行的模型是 Qwen3.8-Flash-Next IQ3_S。
上游版本的发布说明中提到了两项默认设置的变更:
・在跨双 GPU 部署时,允许 CPU 处理部分提示词(prompt)的功能:默认开启。
・“Route tail skip”(跳过尾部专家模型),即跳过那些很少被调用的专家模型:默认关闭。
在我的机器上,预填充(prefill)速度提升了约 2.3–2.6 倍,但生成(generation)速度却下降了约 20%。重新开启“Route tail skip”后,生成速度恢复到了与 v0.2.16 版本几乎无异的水平。
我尚未具体分析各项变更各自贡献了多少影响。
在尝试更新软件时,我通常会优先查看发布说明中标记为“默认”(default)的相关条目。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部