区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。它使的招数叫分层推理:不把整个模型一口气灌进显存,而是逐层往里加载,算完一层便卸掉,生生把个庞然大物塞进了张小破卡里。这项目百分百开 ...
关注公众号相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1