查看: 6|回复: 0

总价1400 元装机,本地跑 Qwen3.8-Flash-Next,实测 30~50token/s

[复制链接]

17

主题

0

回帖

61

积分

注册会员

积分
61
发表于 昨天 23:16 | 显示全部楼层 |阅读模式
1400 元出头捡垃圾 X99 平台,搭配 P100 计算卡,完整装机 + Ubuntu 部署 Strata,本地跑 Qwen3.8-Flash-Next IQ3 量化版本。
实测平均 30+ token/s,峰值可达 50token/s,可以跑 AI Agent 任务,生成 3D 场景等。
客观说明:P100 的 prefill 速度偏弱,这套方案更适合 Strata,对其他大模型兼容性一般。
硬件清单:X99D3 魔改主板、E5-2673 V3、DDR3 服务器内存、M.2 固态、P100 计算卡。 后续会继续测试 P40、V100 在这套 X99 平台上的推理性能,感兴趣可以关注。
https://www.youtube.com/watch?v=P-UEhSTB7l8

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部