技术博文:SGLang 中的高级 CUDA Graph 技术地址:www.lmsys.org/blog/2026-08-17-advanced-cuda-graph背景知识:大模型推理时由许多 GPU 操作连续组成。通常,CPU 需要逐个向 GPU 发起这些操作,频繁的启动和调 ...
关注公众号相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1