本地运行大模型（LLM）的常见情况

本地运行大模型（LLM）的常见情况

・“用这个提示词（Prompt）应该没问题”
・输出效果一般，于是稍微调高一点温度（Temperature）
・感觉还不够理想，重写系统提示词（System Prompt）
・尝试增加上下文长度（Context Length）
・遇到“显存（VRAM）不足”，只好降低量化（Quantization）等级
・回过神来，发现已经多出了好几个配置文件

结果，花在折腾配置上的时间，比花在模型本身上的还要多。