它走的思路叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就丢掉，硬是把巨无霸塞进了小破卡。
更妙的是它100%开源，白蹭警告。
链接：https://github.com/0xSojalSec/airllm
70B的大模型真能塞进4GB显存的卡里跑？AirLLM给出的答案是能。
70B的大模型真能塞进4GB显存的卡里跑？AirLLM给出的答案是能。
它走的思路叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就丢掉，硬是把巨无霸塞进了小破卡。
更妙的是它100%开源，白蹭警告。
链接：https://github.com/0xSojalSec/airllm
它走的思路叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就丢掉，硬是把巨无霸塞进了小破卡。
更妙的是它100%开源，白蹭警告。
链接：https://github.com/0xSojalSec/airllm