🚀 无敌!单卡16/24GB显存、Mac 32GB统一内存,把 Qwen 3.8 27B 推理跑出新速度!Strata v0.2.14原生内核升级上线!

[复制链接]
发表于 昨天 19:52 | 显示全部楼层 |阅读模式
🚀 无敌!单卡16/24GB显存、Mac 32GB统一内存,把 Qwen 3.8 27B 推理跑出新速度!Strata v0.2.14原生内核升级上线!

Strata v0.2.14,把prompt专家计算从llama.cpp切到自研原生GPU内核(NVIDIA CUDA + AMD HIP),Windows/Linux全覆盖,现有模型、聊天和配置零改动,速度直接涨。

🔥 消费级硬件实测亮点(vs 0.2.13)
🔹RTX 5090(32GB):32K prompt 7870 vs 6851 tok/s(+14.9%)

🔹RTX 4090(24GB):20K prompt 5.65s vs 6.11s(约快7.5%)

🔹RTX 5070 Ti(16GB):20K prompt 1408 vs 953 tok/s(+47.7%)

🔹双卡 RTX A6000:输出 75.88 vs 64.16 tok/s(+18.3%)

🔹Mac M5 Max(128GB):输出 94.7 vs 92.8 tok/s

⚡ 3步开跑
1️⃣下载桌面安装包(Win/Linux/Mac)或终端一键脚本

2️⃣启动后选模型(推荐Unsloth Dynamic quants),引擎自动拉取

3️⃣直接开聊或调用OpenAI兼容API,无需额外设置

详见:https://github.com/Niko1221/Strata/releases/tag/v0.2.14






本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部