就是平时大家在部署本地模型的时候,往往不知道自己的电脑适合部署什么样的模型,配置够不够。
这个时候,就要计算自己的内存、显存,然后看哪个模型能加载。
大部分人根本就不会算,那么下载的模型可能根本跑不起来,就白下了。
模型又大,折腾一圈,耗时耗力。
llmfit这个工具可以检测你的硬件配置,然后给你匹配合适的模型。
这些计算过程,它都帮你做了。
它适配了数百种型号的模型和模型供应商。
一个命令就能找到你硬件上运行的设备。
支持linux,windows,Mac等等设备。
可以说非常方便。
项目地址:github.com/AlexsJones/llmfit