这个开源项目是一款帮你挑选本地大模型的开源终端工具。

大熊进口优化师

这个开源项目是一款帮你挑选本地大模型的开源终端工具。

它会自动检测电脑的内存、CPU、GPU、显存和运行后端，再针对数百个模型尝试不同量化方案。

分析哪些能够装进内存、预计运行多快，以及模型质量和上下文能力如何，避免下载几十 GB 后才发现电脑带不动。

他有交互式界面、普通命令行，并支持多块 GPU 与混合专家模型。

llmfit 还能配合 Ollama、llama.cpp、MLX、Docker Model Runner 和 LM Studio 使用。

开源地址：https://github.com/AlexsJones/llmfit