测试环境配置为:1 张 RTX 5070 12GB 显卡 + 1 张 RTX 5060 Ti 16GB 显卡(共 2 张),搭配 Ryzen 5 7600 处理器和 64GB 内存,运行的模型是 Qwen3.8-Flash-Next IQ3_S。
上游版本的发布说明中提到了两项默认设置的变更:
・在跨双 GPU 部署时,允许 CPU 处理部分提示词(prompt)的功能:默认开启。
・“Route tail skip”(跳过尾部专家模型),即跳过那些很少被调用的专家模型:默认关闭。
在我的机器上,预填充(prefill)速度提升了约 2.3–2.6 倍,但生成(generation)速度却下降了约 20%。重新开启“Route tail skip”后,生成速度恢复到了与 v0.2.16 版本几乎无异的水平。
我尚未具体分析各项变更各自贡献了多少影响。
在尝试更新软件时,我通常会优先查看发布说明中标记为“默认”(default)的相关条目。