colibri 换了个打法：显存、内存、硬盘一块儿用上，模型权重按需从硬盘流式加载。
纯 C 写的，零依赖，GitHub 上已经 2.5 万+ Star。
多种 MoE 模型都支持，官方还演示过用 CPU 流式跑 744B 级模型，常驻内存能压得很低。
更有意思的是它自带网页面板，连专家路由都能实时瞅见。
显存不够，不等于完全没机会玩大模型。
🔗 https://github.com/JustVugg/colibri
本地想跑几百 GB 的大模型，普通电脑是不是直接就劝退了？
本地想跑几百 GB 的大模型，普通电脑是不是直接就劝退了？
colibri 换了个打法：显存、内存、硬盘一块儿用上，模型权重按需从硬盘流式加载。
纯 C 写的，零依赖，GitHub 上已经 2.5 万+ Star。
多种 MoE 模型都支持，官方还演示过用 CPU 流式跑 744B 级模型，常驻内存能压得很低。
更有意思的是它自带网页面板，连专家路由都能实时瞅见。
显存不够，不等于完全没机会玩大模型。
🔗 https://github.com/JustVugg/colibri
colibri 换了个打法：显存、内存、硬盘一块儿用上，模型权重按需从硬盘流式加载。
纯 C 写的，零依赖，GitHub 上已经 2.5 万+ Star。
多种 MoE 模型都支持，官方还演示过用 CPU 流式跑 744B 级模型，常驻内存能压得很低。
更有意思的是它自带网页面板，连专家路由都能实时瞅见。
显存不够，不等于完全没机会玩大模型。
🔗 https://github.com/JustVugg/colibri