552B 参数全在，专家权重压到 2 bit，在 Windows 上原生跑。配置是 i5-13600K、4 条 48GB DDR5-5600、NVMe 固态。
换了配置以后的速度：
1. 内存降到 128GB，生成 33 tok/s
2. 25K 到 64K 的长 prompt，prefill 610 tok/s，128GB 是 410
3. 显存 16GB 31 tok/s，12GB 17 tok/s
4. 和官方 API 逐 token 比对，首选 token 一致率 90.2%，代码和数学 92.4%
门槛主要在内存和硬盘，不在显卡。至少 128GB 内存，硬盘要空出 385GB 左右，内存不够的时候专家权重直接从 SSD 读。多个请求同时进来是排队一个个答的。
以上都是作者自己测的。一张 3090 能跑这个级别的模型，二手 3090 加大内存这条路又有意思了，前提是 DDR5 现在的价格还能接受。