3 x AI 9700 配置 - 96GB 显存

[复制链接]
发表于 半小时前 | 显示全部楼层 |阅读模式









这是我的配置!

3 块 AI 9700 Pro(功耗限制 210W)
64GB DDR5 内存
250K Plus 处理器
Z890 Aero G 主板
32TB 3.5 英寸机械硬盘 (HDD)
4TB NVMe 固态硬盘 (SSD)
Fractal Define XL 机箱——装上侧板后非常安静,只有第三块显卡运行时会发出一点类似风扇的声响。

在这块主板上,两块显卡以 x8/x8 通道运行;第三块显卡则通过 M.2 转 OCuLink 接口以 x4 通道运行。

这台机器最初是作为 Unraid 服务器搭建的,主要用于存储第二份数据副本(我清楚 Unraid 并非备份方案,这点我已经了解过了)、作为媒体服务器,以及承载各类家庭实验室(Homelab)应用。

后来我加入了 Qwen-Flash-Next 模型,其中两块显卡我是按接近建议零售价(MSRP)买入的——在价格再次上涨前,我果断入手了第三块!上面有一张图展示了我测试中 Q3 和 Q4 量化版本的对比。

除了内存之外,这套配置在不升级到 Threadripper 或 Epyc 处理器的情况下,已经达到了性能上限。

我选择这套方案而不是直接买一台 M5 Max,是因为我已经有一台性能强劲的游戏 PC,而且这台 Unraid 服务器也是我日常使用的设备;我可不想在三台电脑之间来回切换。

我会使用 AI Agent 处理个人及工作(例如涉及隐私的人力资源相关事务)任务,这些数据我绝不会放到云端。但在不涉及隐私问题的情况下,我也会结合云端模型来处理其他工作。

我打算用其中两块显卡运行 Flash-Next 模型,第三块则用于 27B 参数量级的工作流。目前还在探索最佳的使用场景!

这纯粹是我的一个“硬核”爱好,至于“为什么要搞这个”之类的理由,我早就抛诸脑后了!反正觉得好玩,接受就好!



您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部