AMD 用户的春天真来了!vLLM 魔改分支「Radiance」独立,特有显卡 P2P 机制让 LLM 多并发体验远超 Strata,也能支持 Minimax H3 多卡 TP,AMD 显卡用户迎来生态红利!
AMD 用户的春天真来了!vLLM 魔改分支「Radiance」独立,特有显卡 P2P 机制让 LLM 多并发体验远超 Strata,也能支持 Minimax H3 多卡 TP,AMD 显卡用户迎来生态红利!
先给各位老哥上结论:这条视频最提气的地方,是它告诉你——过去半年 AMD 显卡用户被「生态落后」这四个字压得太狠了,现在终于有人把这块硬骨头啃开了。一位 ID 叫 stillDeadcode 的大佬,把 vLLM 单独拉出来魔改成了一个专喂 AMD RDNA4 显卡的推理引擎 Radiance(vllm-radiance)。它不是简单换个后端,而是针对新架构从源码重编译底层算子、自研了显卡 P2P 直连机制,让多卡之间直接传数据、不绕主机内存。结果就是:并发场景下预填充速度比 llama.cpp 快一倍以上,长上下文命中输出能稳在 1500 TPS 以上,多并发体验直接超过前几期咱们聊过的那套 Strata 分层卸载路线。今天把它的原理、和 Strata / llama.cpp 的路线差异、单卡双卡实测数据、以及怎么吃到这波 AMD 红利,一次盘清。
〇、先讲人话:Radiance 到底是个啥?跟 Strata 有啥不一样?
一句话定性:Radiance = 一个为 AMD 新显卡(RDNA4 / gfx1201)深度魔改的 vLLM 推理服务器,打包成 Docker 镜像开箱即用。它不是 llama.cpp,也不是官方 vLLM——官方 vLLM 到今天都还没有 RDNA4 的原生 FP8 内核,硬跑会偷偷退化成 FP32 反量化、把显卡那上百个 AI 加速核全绕过去。Radiance 干的就是补上这一课。
它和前几期聊的 Strata 走的是两条完全不同的路:
维度Strata(前几期)Radiance(本期)
核心思路单卡分层卸载:热点专家进显存、冷门专家进内存多卡张量并行(TP)+ P2P 直连
最擅长一张小显存卡「摊平」吃下千亿 MoE多并发、长文、多卡高速协同
技术底座自研 MoE 调度引擎魔改版 vLLM(服务化 + OpenAI 兼容 API)
通信方式显存/内存/SSD 三级搬运显卡间 P2P 直传张量,绕开 CPU/主存中转
适用场景单卡、预算极低、想跑超大 MoE手里有 2 张以上 AMD 卡、要并发要长文
划重点:两者不冲突,是互补。想把 125B MoE 硬塞进一张 12G 卡,看 Strata;手里攥着两张卡、还想要丝滑多并发和超长上下文,看 Radiance。视频作者的原话是:多并发这一项,Radiance 的体验「远超 Strata」。
一、P2P 机制凭什么让多并发起飞?——这是全篇最关键的点
很多人不知道「多卡张量并行(TP)」慢在哪。传统多卡是把一张大矩阵切片分到两张卡,算完之后必须把中间结果搬到主机内存(CPU)中转、再发回另一张卡,PCIe 来回拷贝成了瓶颈,卡越多等得越久。
Radiance 的显卡 P2P 直连(按作者口径),就是让两张显卡之间点对点直接传张量,不绕 CPU、不落主存。省掉这一大段来回搬运,多卡 TP 的通信开销被砍下去,于是:
多路并发请求可以同时高速出结果,不再「排队等搬运」;
长上下文时命中输出仍能稳在 1500 TPS 以上(注意这是投机解码的草稿命中吞吐,单会话体感见下表);并发预填充速度直接超过 llama.cpp 一倍以上。
这也是为什么标题敢说「多并发体验远超 Strata」——Strata 是单摊平路线,压根不玩多卡 TP,并发天然吃亏。
二、底层都改了啥?不是「换个皮」,是从源码重编译
从项目仓库(stillDeadcode/vllm-radiance,17 次提交的 patched vllm + Docker 镜像)能看到它针对 gfx1201 做的全是脏活累活:
改动模块干了什么
AITER / libr4d kernels针对 RDNA4 架构从源码编译底层算子,不再走 FP32 退化慢路径
FP8 GEMM / Attention configs逐条调优 FP8 矩阵乘与注意力配置,统一修 LDS 溢出
MoE configs + MoE router补上 MoE 专家路由配置,让混合专家模型能正确分流
DFlash2 投机解码集成草稿模型推测解码,靠「提前猜词 + 主模型验证」提速
INT4 W4A16 补丁国外老哥在其上热加载补丁,解锁 int4-AutoRound 路径
正因为官方 vLLM 在 RDNA4 上会「静默退化成 FP32、绕开硬件加速核」,这种从源码重编译内核的魔改才显得格外值钱——相当于社区替 AMD 把缺的那块软件地基补上了。
三、单卡实测:32G 的 R9700 跑 Qwen3.8-27B,接近云端 API 体感
作者用单张 AMD Radeon AI PRO R9700(gfx1201 / RDNA4)实测。走 INT4 W4A16(AutoRound)路径,模型只有 19GB(4位权重 16位激活),轻松装进 32G 显存还能开200K 极限上下文,且GSM8K 精度分数与 BF16 基线一致甚至略高:
实测项数据(单张 R9700 / Qwen3.8-27B INT4)
模型体积 / 显存19GB,装进 32G,可开 200K 上下文
并发预填充 prefill比 llama.cpp 快 1 倍以上
长上下文命中输出稳定 1500 TPS 以上(草稿命中吞吐)
单会话输出峰值约 80 token/s,长上下文衰减不明显
默认并发数项目按 R9700 资源设成 2 路
体感对标单会话输出「已不比 Minimax M3 云端 API 忙时段差」
注意 DFlash2 的命中节奏:Qwen3.8 爱「雷霆思考」,思考阶段草稿能跑到 200+ TPS,但实际接受命中只有 60 多;等进入写代码阶段,接受率飙升、命中输出冲到 1500 TPS 以上,单会话峰值约 80 TPS。体感好不好,关键看接受率。
四、双卡实测:双 RX 9060 XT 跑 MoE,256K 长文 72 秒搞定(附配图)
另一组更早的双卡实测(双 RX 9060 XT 16G + Ryzen,跑 Qwen3.6-35B-A3B-FP8,37GB 含 MTP+视觉),更能看出 Radiance 的长文硬实力:
指标Radiance 实测对比 llama.cpp
256K 提示词预填充72 秒(1分12秒)128K 就要 3 分钟
峰值 decode(开 MTP)170 token/s该卡此前从未跑过这么快
专家卸载策略0.4 比例专家权重卸到内存(约 25G 内存)—
多模态识图开 256K + 视觉,正常对话识图可用—
丑话说前头:这俩实测来自不同作者、不同卡(R9700 32G 单卡 vs RX 9060 XT 16G 双卡)、不同模型,速度口径不能直接横比,但共同指向一个结论——Radiance 把 AMD 卡的并发与长文吞吐,从「勉强能用」拉到了「接近云端 API」。另外当时还不支持 4bit 量化,想冲 4bit 得走 R9700 那条 W4A16 补丁路线。
五、并发到底能堆到几路?——235 TPS 是这套方案的天花板
作者专门做了高并发压测(单卡 R9700),摸出了并发极限:
并发路数命中输出峰值平均每路说明
1 路约 80 TPS 以上约 80 TPS日常主力档
2 路(默认)命中输出冲 1500 TPS+约 80 TPSR9700 资源甜点档
4 路(极限)接受输出峰值 235 TPS不到 60 TPS已是该方案并发极限
想再往上堆并发就别硬来了——单卡 R9700 到 4 路基本见底。真要多路生产,这才是 P2P 多卡 TP 该出场的地方:横向加卡,而不是单卡硬塞并发。
六、标题里的「Minimax H3 多卡 TP」是什么信号?
Radiance 走的是 vLLM 服务化 + 张量并行路线,而 vLLM 生态对张量并行(tensor-parallel-size)的支持是现成的——这正是社区用来部署像 Minimax H3 这类大模型多卡方案的路子:
vLLM 起服务典型命令:vllm serve MiniMax-H3/FL2VA --trust-remote-code --tensor-parallel-size 4;
多卡 TP 的硬门槛是高速互联(NVLink 或 PCIe 4.0/5.0+)——而 Radiance 的显卡 P2P 直连,正好是补 AMD 平台这块互联短板的;注意:多卡显存不会自动合并,靠模型并行 / 任务并行机制分配,大模型单段生成要靠 TP 分摊显存和计算。
这才是标题说「AMD 显卡用户迎来生态红利」的真正含义:以前多卡 TP 几乎是 N 卡(NVLink)的专利,AMD 用户连门都摸不着;Radiance 用 P2P 直连把这条路给 AMD 卡蹚出来了——能跑 LLM,也意味着能往 Minimax H3 这种多卡 TP 大模型方向探。
七、想吃到红利?先认清适合谁、怎么上手
适合不太适合
手里是 R9700 / RX 9060XT / RX 9070XT 等 RDNA4 A 卡的老哥老 N 卡党(官方 vLLM 本来就支持得好,没必要折腾魔改)
有多张 AMD 卡、要并发 / 长文 / 多模态服务只有单张 RDNA3 老 A 卡的人(gfx1201 才是这套的主场)
能跑 Docker、想要 OpenAI 兼容 API 服务化的完全不想碰命令行 / Docker 的小白
上手思路(以作者开源仓库为准):
Radiance 是 patched vllm,官方直接给了 Docker 镜像,开箱即用
1) 拉镜像 / docker-compose 起服务(含 AITER、libr4d kernels、FP8/MoE 配置、DFlash2)
docker compose up
2) 想上 27B INT4:用社区 int4-AutoRound(W4A16) 热补丁,19GB 装进 32G 卡
1 路 / 2 路并发默认已按显卡资源调好,直接打 OpenAI 兼容接口即可
curl http://localhost:8000/v1/chat/completions -d '{"model":"qwen3.8-27b-int4","messages":}'
具体镜像 tag、模型权重、补丁文件和启动脚本,作者在仓库 / 网盘都有打包分享;参数以你所用镜像版本与显卡架构(务必确认是 gfx1201 / RDNA4)官方说明为准。
八、几句避坑大实话
坑点说明
别拿老 RDNA3 卡硬套这套内核是为 gfx1201 重编译的,老架构收益有限,甚至跑不起来。
「1500 TPS」不是体感速度那是投机解码草稿命中吞吐,单会话真实输出看「约 80 TPS」,别被大数字忽悠。
双卡数据别和单卡横比不同卡、不同模型、不同量化档,速度不可直接对齐,看趋势别看绝对值。
4bit 量化当时未原生支持冲 4bit 走 R9700 的 W4A16 补丁路线;双 9060XT 那组当时还不支持 4bit。
高并发别超 4 路(单卡)单卡 R9700 到 4 路见顶,要更多并发应加卡走 P2P 多卡 TP。
一句话总结
Radiance 最值钱的,不是又多了个能跑分数的引擎,而是它替所有 AMD 显卡用户,把「软件生态落后」这顶帽子硬摘下来了一半:从源码重编译 RDNA4 内核、自研显卡 P2P 直连,让 A 卡第一次在「多卡并发 + 超长上下文 + 多卡 TP」这些原本属于 N 卡的战场上打出身位——单卡 32G 跑 27B 接近云端体感,双卡把 256K 长文压到 72 秒,还把通往 Minimax H3 这类多卡大模型的门推开了一道缝。
如果说前几期的 Strata 证明了「小显存也能吃大模型」,那这一期的 Radiance 证明的是「AMD 多卡也能打并发」。开源社区就是这样,一铲一铲把闭源生态的墙挖穿的。
评论区聊聊:你现在是 N 卡党还是 A 卡党?手里是 R9700、9070XT 还是更老的卡?要不要也上手 Radiance 试一把多并发?报个「卡型号 + 几张 + 显存」,我帮你判断该走 Radiance 的 P2P 多卡路线,还是继续用 Strata 单卡摊平。
素材说明:本视频为「抡锤者」频道实测口径(Radiance=stillDeadcode/vllm-radiance、vLLM 魔改分支、自研显卡 P2P 直连、多并发体验超 Strata、支持 Minimax H3 多卡 TP、AMD 生态红利);单卡 R9700 跑 Qwen3.8-27B INT4 W4A16(19GB 进 32G、200K 上下文、GSM8K≈BF16、prefill 比 llama.cpp 快 1 倍+、长上下文命中 1500 TPS+、单会话峰值约 80 TPS、默认并发 2、4 路峰值 235 TPS、DFlash2 命中节奏)取自同项目社区实测长文;双 RX 9060 XT 跑 Qwen3.6-35B-A3B-FP8(37GB 含 MTP+视觉、专家卸载 0.4/约 25G 内存、256K prefill 72 秒、开 MTP 峰值 170 token/s、当时不支持 4bit)取自 B 站同项目真机实测;Minimax H3 多卡 TP(vLLM tensor-parallel-size、需 NVLink/PCIe 高速互联、多卡显存不自动合并)取自官方知识库口径。各来源显卡、模型、量化档、引擎版本不同,速度均为社区真机实测而非官方 benchmark;部署参数请以你所用 Radiance 镜像与显卡架构官方文档为准。