本地想跑几百 GB 的大模型，普通电脑是不是直接就劝退了？

丫丫快递

本地想跑几百 GB 的大模型，普通电脑是不是直接就劝退了？

colibri 换了个打法：显存、内存、硬盘一块儿用上，模型权重按需从硬盘流式加载。

纯 C 写的，零依赖，GitHub 上已经 2.5 万+ Star。

多种 MoE 模型都支持，官方还演示过用 CPU 流式跑 744B 级模型，常驻内存能压得很低。

更有意思的是它自带网页面板，连专家路由都能实时瞅见。

显存不够，不等于完全没机会玩大模型。
🔗 https://github.com/JustVugg/colibri