llama.cpp自带网页端后，我卸了Ollama

清旧入梦

本地AI社区把Ollama捧上神坛有它的道理——装模型像点菜一样简单，一条命令就能把Gemma、Qwen等模型拉到本地，管理起来也不费力。与此同时，llama.cpp一直是大量本地AI项目背后的推理引擎，但它的名声总离不开命令行终端。对不习惯敲指令的人来说，llama.cpp更像开发者的试验场，而不是点一下就能聊天的日常工具。

这个印象正在过时。现在llama.cpp随附一个内置网页界面，单条命令就能启动，把满屏终端文字替换成一版干净的浏览器聊天窗口。这是门槛上的一个重大转折：曾经横在普通用户面前的命令行高墙，被这层网页UI直接抹掉了。

Ollama的走红并非偶然。它让自托管大模型变得像安装普通软件一样平滑，切换模型时所有资源都不会互相干扰。但这种顺畅藏了一个微小代价：Ollama坐在你和推理引擎之间，而它底层调用的正是llama.cpp。为了把体验打磨得顺手，Ollama把llama.cpp包了起来，加上自己的客户端界面。这一层抽象不算臃肿，但仍然有开销。只有在直接操作llama.cpp之后，你才会注意到这层差距。

同样的模型、同样的提示词、同样的硬件，绕过Ollama直接跑llama.cpp能拿到更快的回应。在Ollama里要等15到20秒才吐出第一个字的模型，换成llama.cpp常能在10秒内就开始输出。差距不算翻天地覆，但足够让你重新掂量那份“便利”的价格。特别是显存不到10GB的显卡上，这点性能差会更敏感。

网页界面让llama.cpp终于有了“应用”的面相，而不再只是开发者工具。它把你硬件的每一分性能往外榨，现在又多了层普通人能看懂的操作界面。但这不代表Ollama就该被丢弃。对只想要一键装好、不用研究任何推理参数的人，Ollama的爽快感仍然无人能敌。两边各有拥趸的理由，而我选llama.cpp的网页端，只因它快得直接，调参也更自由。