Ollama功能全,但想更快跑起本地模型,可以看看更轻的选择。

Ollama功能全,但想更快跑起本地模型,可以看看更轻的选择。

Shimmy 用 Rust 写成,整个程序才 5MB 左右,启动不到 100ms,内存约 50MB。

① 单文件运行,下载完基本就能用
② 端口自动分配,配置不用折腾
③ 自带 OpenAI 兼容 API
④ Hugging Face、Ollama 和本地模型都能自动发现
⑤ 体积小、启动快,老机器也比较友好
嫌本地模型工具太重、想找个打开就跑的,可以试试。
🔗https://github.com/Michael-A-Kuykendall/shimmy



分类