从目前Qwen-3.8 27B 来看， 27B 这个量级的大模型可能真的是未来第一个同时兼具生产力和本地可部署空间的甜点。

山水有清香

从目前Qwen-3.8 27B 来看， 27B 这个量级的大模型可能真的是未来第一个同时兼具生产力和本地可部署空间的甜点。 结合各种混合量化和速度考量，采用高级FP4混合量化下32GB是最甜点的选择。

未来的NPU要是能搭配主内存，实现27B下50TPS那就可以让NPU完全实用了。这个主要还是吃内存带宽，即便按照纯4bit算，50TPS也需要带宽600GB/s+（不含MTP之类）