GPU 利用率都 98% 了，Qwen 训练竟然还能提速 6 倍？ Databricks 最近分享了一个挺值得研究的案例。

哈你路亚

GPU 利用率都 98% 了，Qwen 训练竟然还能提速 6 倍？

Databricks 最近分享了一个挺值得研究的案例。

同样的 Qwen 微调任务，训练时间直接从 7 小时 44 分钟缩短到 1 小时 17 分钟。

关键不是堆更多 GPU，而是优化底层算子、减少 Padding 带来的算力浪费。

最有意思的是，优化之前 GPU 利用率就已经高达 98%。

原来 GPU 看起来忙得要死，不代表它真的在高效干活。

做大模型训练的可以看看这篇，里面的优化思路比单纯追求 GPU 利用率有意思多了。

博客：https://databricks.com/blog/redu ... -time-6x-ai-runtime

果如

这类优化的说服力就在：GPU 利用率高不等于有效 FLOPs 高，padding、小 kernel、碎片化调度都在偷偷烧钱。算子层挤水分比加卡便宜太多了。

好奇他们 MoE 场景下 bucket 划分怎么选的，全变长算子后 group GEMM 调度是不是又把重担压回 CPU 了。

郑晓锋

GPU 显示 98% 但大半在算 padding 的 0，这个坑太常见了。

SFT 数据长短差别大时，按 batch 里最长那条补齐，有效 token 可能连一半都不到。sequence packing + varlen attention 真该是微调的默认开关。

好奇原文用的是 Liger 这类开源 kernel 还是自研的？

琪琪是头猪

98% 的 GPU 利用率下还能提速 6 倍，光看利用率确实会误判。要是同时列出有效 token/s、padding 占比和单步耗时，就能看清收益来自算子还是数据组织；这两部分各贡献了多少？