我为推理引擎自行设定了 42GB 的内存上限,并分别运行了 Strata v0.2.16 和 v0.2.15 版本。

我为推理引擎自行设定了 42GB 的内存上限,并分别运行了 Strata v0.2.16 和 v0.2.15 版本。
测试环境包括:1 块 RTX 5070 12GB 和 1 块 RTX 5060 Ti 16GB(共 2 块 GPU),64GB 系统内存(其中 56GB 分配给 WSL2),以及 Qwen3.8-Flash-Next IQ3_S 模型。我启用了“将 KV 缓存保留在内存中”的功能(参数 `--kv-resident 32768`),并分别设置了 128K 和 256K 的上下文长度限制。
・峰值内存占用:41.27 GiB,未触及 42GB 的上限。
・存储读取量:在处理约 14,000 和 33,000 token 的请求时,单次请求的存储读取量最高为 120 MB。
・两个版本表现基本一致。
相比之下,我前一天测试的 Strata 分支版本(Basalt v0.4.1,配置为将 28 GiB 的专家模型参数保留在内存中)在处理单次请求时,存储读取量高达 12 GB 至 337 GB。
由于推理引擎和配置不同,这并非完全对等的比较;但就我此次采用的常规配置而言,存储读取量几乎可以忽略不计。


分类