Ollama 用起来还不错，但它越来越臃肿——每次启动都像在等一个大块头慢慢醒来。

twinsbbs

Ollama 用起来还不错，但它越来越臃肿——每次启动都像在等一个大块头慢慢醒来。直到我试用了 Shimmy：一个文件，5MB，用 Rust 编写，启动时间不到 100 毫秒，内存占用大约 50MB。

说实话，第一次运行的时候，我愣了一下，以为它启动失败了——速度实在太快了。

1⃣ 单个文件仅 5MB，下载轻松便捷，不像某些工具一打开就占用数百兆字节。

2⃣ 启动时间不到 100 毫秒，即刻打开即可使用，无需担心启动问题。

3⃣ 内存占用约 50MB，即使在老旧机器上也能流畅运行。

4⃣ 内置 OpenAI 兼容 API，集成成本几乎为零。

5⃣ 无需配置，自动分配端口，打开即可使用。

6⃣ 自动发现模型，支持 Hugging Face、Ollama 和本地目录等所有模型。

相比之下，它在体积、速度和内存占用方面都比 Ollama 轻量得多。
项目地址：