分享一个工具llmfit。

刘彪

分享一个工具llmfit。

就是平时大家在部署本地模型的时候，往往不知道自己的电脑适合部署什么样的模型，配置够不够。
这个时候，就要计算自己的内存、显存，然后看哪个模型能加载。
大部分人根本就不会算，那么下载的模型可能根本跑不起来，就白下了。
模型又大，折腾一圈，耗时耗力。

llmfit这个工具可以检测你的硬件配置，然后给你匹配合适的模型。
这些计算过程，它都帮你做了。

它适配了数百种型号的模型和模型供应商。
一个命令就能找到你硬件上运行的设备。

支持linux，windows，Mac等等设备。
可以说非常方便。

项目地址：github.com/AlexsJones/llmfit