Databricks 最近分享了一个挺值得研究的案例。
同样的 Qwen 微调任务，训练时间直接从 7 小时 44 分钟缩短到 1 小时 17 分钟。
关键不是堆更多 GPU，而是优化底层算子、减少 Padding 带来的算力浪费。
最有意思的是，优化之前 GPU 利用率就已经高达 98%。
原来 GPU 看起来忙得要死，不代表它真的在高效干活。
做大模型训练的可以看看这篇，里面的优化思路比单纯追求 GPU 利用率有意思多了。
博客：https://databricks.com/blog/reducing-qwen-training-time-6x-ai-runtime