本地运行大模型(LLM)的常见现象: ・“先下载这一个模型试试” ・在等待下载完成时,又看中了另一个模型 ・回过神来,发现SSD的剩余空间已经变少了

本地运行大模型(LLM)的常见现象:
・“先下载这一个模型试试”
・在等待下载完成时,又看中了另一个模型
・回过神来,发现SSD的剩余空间已经变少了
・心想“换个量化版本应该就行了”,于是又下载一个
・把整理模型文件的事儿往后推
・因为存储空间不足,又开始琢磨着找新的SSD了

结果就是,每次尝试新模型,存储空间总是先一步告急。


分类