这个开源项目是一款帮你挑选本地大模型的开源终端工具。

这个开源项目是一款帮你挑选本地大模型的开源终端工具。

它会自动检测电脑的内存、CPU、GPU、显存和运行后端,再针对数百个模型尝试不同量化方案。

分析哪些能够装进内存、预计运行多快,以及模型质量和上下文能力如何,避免下载几十 GB 后才发现电脑带不动。

他有交互式界面、普通命令行,并支持多块 GPU 与混合专家模型。

llmfit 还能配合 Ollama、llama.cpp、MLX、Docker Model Runner 和 LM Studio 使用。

开源地址:https://github.com/AlexsJones/llmfit

分类