划重点:两者不冲突,是互补。想把 125B MoE 硬塞进一张 12G 卡,看 Strata;手里攥着两张卡、还想要丝滑多并发和超长上下文,看 Radiance。视频作者的原话是:多并发这一项,Radiance 的体验「远超 Strata」。
正因为官方 vLLM 在 RDNA4 上会「静默退化成 FP32、绕开硬件加速核」,这种从源码重编译内核的魔改才显得格外值钱——相当于社区替 AMD 把缺的那块软件地基补上了。
注意 DFlash2 的命中节奏:Qwen3.8 爱「雷霆思考」,思考阶段草稿能跑到 200+ TPS,但实际接受命中只有 60 多;等进入写代码阶段,接受率飙升、命中输出冲到 1500 TPS 以上,单会话峰值约 80 TPS。体感好不好,关键看接受率。
丑话说前头:这俩实测来自不同作者、不同卡(R9700 32G 单卡 vs RX 9060 XT 16G 双卡)、不同模型,速度口径不能直接横比,但共同指向一个结论——Radiance 把 AMD 卡的并发与长文吞吐,从「勉强能用」拉到了「接近云端 API」。另外当时还不支持 4bit 量化,想冲 4bit 得走 R9700 那条 W4A16 补丁路线。
想再往上堆并发就别硬来了——单卡 R9700 到 4 路基本见底。真要多路生产,这才是 P2P 多卡 TP 该出场的地方:横向加卡,而不是单卡硬塞并发。
这才是标题说「AMD 显卡用户迎来生态红利」的真正含义:以前多卡 TP 几乎是 N 卡(NVLink)的专利,AMD 用户连门都摸不着;Radiance 用 P2P 直连把这条路给 AMD 卡蹚出来了——能跑 LLM,也意味着能往 Minimax H3 这种多卡 TP 大模型方向探。
具体镜像 tag、模型权重、补丁文件和启动脚本,作者在仓库 / 网盘都有打包分享;参数以你所用镜像版本与显卡架构(务必确认是 gfx1201 / RDNA4)官方说明为准。
举报
本版积分规则 发表回复 回帖后跳转到最后一页
相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1