原来跑DeepSeek和GLM的最佳方案竟然是Ollama。

原来跑DeepSeek和GLM的最佳方案竟然是Ollama。

自从我切到Ollama Pro订阅之后,竟然发现跑DeepSeek和GLM速度飞快,不由得好奇,测试了一遍,结果把我震惊了:

Ollama上的DeepSeek比官网速度还要快34%;
Ollama上的GLM是官网速度差不多300%;

反复测试了多次都是如此,并且输出结果一致,没有量化。

搜索了一下发现,Ollama是自己托管开源模型在NVIDIA云服务商的。估计是硬件资源比较充足,跑出了比官网更快的速度。

尤其是GLM-5.3 Flash,token输出速度竟然是智谱官网速度的三倍,一下子变得真香了。可见国内这些模型厂商得有多缺卡。

Ollama订阅是真的香啊。缺点就是限制3个并发,升级到100美元套餐,限制10个并发。但是速度是真快!



分类