查看: 82|回复: 0

如何在A100上跑Qwen3.5 using vllm,要支持qwen3_5_moe架构,必须使用vllm的nightly build,用uv装

[复制链接]

11

主题

0

回帖

33

积分

新手上路

积分
33
发表于 2026-3-3 12:58:28 | 显示全部楼层 |阅读模式
如何在A100上跑Qwen3.5 using vllm,要支持qwen3_5_moe架构,必须使用vllm的nightly build,用uv装:


uv pip install -U vllm --torch-backend=auto --extra-index-url http://t.cn/AXcpweMQ ​​​
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部