1️⃣ 能在自己电脑上直接跑大模型，CPU都能推理，不靠云API，断网也能用。我拿MacBook Air跑7B模型，生成速度够聊天用，私密性拉满。
2️⃣ 纯C/C++写的，不依赖Python那套环境，不用配东配西。实测克隆下来make一下就能跑，没有一堆pip依赖跟你打架。
3️⃣ 支持量化压缩，把模型体积砍到1/3甚至1/8，渣显存老显卡也能凑合玩。同款模型我压到Q4，回答质量几乎没差。
AI方向的兄弟可以看看，省不少时间。
说个实在的，这项目最初是作者为了在M1 Mac上玩大模型手搓出来的，后来发现需求太猛直接开源。
如今连隔壁的AI框架底层推理都在借它的思路，等于你学的这套优化经验，换个项目照样值钱。
收藏起来，哪天要离线部署或做私有化方案，直接抄作业。
你们本地跑模型都用什么工具，有没有比它更省心的方案？
🔗 https://github.com/ggml-org/llama.cpp