70B的大模型真能塞进4GB显存的卡里跑？AirLLM给出的答案是能。

苦尽甘没来

70B的大模型真能塞进4GB显存的卡里跑？AirLLM给出的答案是能。

它走的思路叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就丢掉，硬是把巨无霸塞进了小破卡。

更妙的是它100%开源，白蹭警告。

链接：https://github.com/0xSojalSec/airllm

小兜儿

70B 塞进 4GB 卡，思路比参数量有意思：一层一层算完即丢，等于用时间换显存。代价也明摆着，速度肯定慢，适合离线慢慢跑的任务，不适合要实时响应的场景。老卡复活这条路，值不值得就看你等不等得起。

啊哎呀

README里连2.8T都写不到4G能跑，这个看着有点虚 一层层从硬盘倒进显存，出一个token得等半天吧