在 4 台 256GB M5 Ultra 上运行 @exolabs,针对 Qwen 3.8 27B 模型实现了 2000 token/秒的总吞吐量,可同时服务 32 个用户(即每用户 62 token/秒)。

在 4 台 256GB M5 Ultra 上运行 @exolabs,针对 Qwen 3.8 27B 模型实现了 2000 token/秒的总吞吐量,可同时服务 32 个用户(即每用户 62 token/秒)。


分类