在 4 台 256GB M5 Ultra 上运行 @exolabs,针对 Qwen 3.8 27B 模型实现了 2000 token/秒的总吞吐量,可同时服务 32 个用户(即每用户 62 token/秒)。

[复制链接]
发表于 昨天 10:30 | 显示全部楼层 |阅读模式
在 4 台 256GB M5 Ultra 上运行 @exolabs,针对 Qwen 3.8 27B 模型实现了 2000 token/秒的总吞吐量,可同时服务 32 个用户(即每用户 62 token/秒)。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部