本地跑大模型这事儿，一看几百GB权重加显存门槛，多数人当场就撤了，我以前也这样。

悦培

本地跑大模型这事儿，一看几百GB权重加显存门槛，多数人当场就撤了，我以前也这样。

colibri直接换了一条路，把显存、内存、硬盘揉成一个整体来调度，权重按需从硬盘流式拽进来，纯C写、零依赖，已经冲到25000+ Star。

1️⃣ 支持的全是前沿MoE，从35B的Qwen3.6到2.8T的Kimi K3，六个家族，一个模型就一个C文件；
2️⃣ 官方演示里744B的GLM-5.2用int4量化在CPU上流式跑起来了，常驻内存压到不到10 GB；
3️⃣ 自带网页仪表盘，19456个专家的路由热度实时刷出来，哪个专家被调就闪一下，看着确实震。
内存够的机器都能拽下来耍耍，亲手摸千亿级模型，跟租API完全是两码事。
🔗 https://github.com/JustVugg/colibri