11521
11522
11523
11518
11519
这是我的配置!
3 块 AI 9700 Pro(功耗限制 210W)
64GB DDR5 内存
250K Plus 处理器
Z890 Aero G 主板
32TB 3.5 英寸机械硬盘 (HDD)
4TB NVMe 固态硬盘 (SSD)
Fractal Define XL 机箱——装上侧板后非常安静,只有第三块显卡运行时会发出一点类似风扇的声响。
在这块主板上,两块显卡以 x8/x8 通道运行;第三块显卡则通过 M.2 转 OCuLink 接口以 x4 通道运行。
这台机器最初是作为 Unraid 服务器搭建的,主要用于存储第二份数据副本(我清楚 Unraid 并非备份方案,这点我已经了解过了)、作为媒体服务器,以及承载各类家庭实验室(Homelab)应用。
后来我加入了 Qwen-Flash-Next 模型,其中两块显卡我是按接近建议零售价(MSRP)买入的——在价格再次上涨前,我果断入手了第三块!上面有一张图展示了我测试中 Q3 和 Q4 量化版本的对比。
除了内存之外,这套配置在不升级到 Threadripper 或 Epyc 处理器的情况下,已经达到了性能上限。
我选择这套方案而不是直接买一台 M5 Max,是因为我已经有一台性能强劲的游戏 PC,而且这台 Unraid 服务器也是我日常使用的设备;我可不想在三台电脑之间来回切换。
我会使用 AI Agent 处理个人及工作(例如涉及隐私的人力资源相关事务)任务,这些数据我绝不会放到云端。但在不涉及隐私问题的情况下,我也会结合云端模型来处理其他工作。
我打算用其中两块显卡运行 Flash-Next 模型,第三块则用于 27B 参数量级的工作流。目前还在探索最佳的使用场景!
这纯粹是我的一个“硬核”爱好,至于“为什么要搞这个”之类的理由,我早就抛诸脑后了!反正觉得好玩,接受就好!