colibri直接换了一条路,把显存、内存、硬盘揉成一个整体来调度,权重按需从硬盘流式拽进来,纯C写、零依赖,已经冲到25000+ Star。
1️⃣ 支持的全是前沿MoE,从35B的Qwen3.6到2.8T的Kimi K3,六个家族,一个模型就一个C文件;
2️⃣ 官方演示里744B的GLM-5.2用int4量化在CPU上流式跑起来了,常驻内存压到不到10 GB;
3️⃣ 自带网页仪表盘,19456个专家的路由热度实时刷出来,哪个专家被调就闪一下,看着确实震。
内存够的机器都能拽下来耍耍,亲手摸千亿级模型,跟租API完全是两码事。
🔗 https://github.com/JustVugg/colibri