不联网也能跑大模型？Ollama把门槛压到8GB内存

想跑大模型，第一反应往往是买云算力、开API、按月付费。Ollama给出的路径不一样：在macOS、Linux、Windows上本地运行大语言模型，下载、管理、定制、运行一条龙，不依赖云服务。它本身免费，采用MIT许可证开源。

这件事的关键在于"本地"两个字。模型装好之后，可以完全离线运行，提示词和回复都不会发往云端服务器。联网只在几种情况下需要：下载模型、访问云端托管的模型、使用在线集成功能。

支持哪些模型？Llama 4、Qwen 3、Gemma 3、Phi-4、DeepSeek-R1、Mistral等都在名单里。想用自己的模型也可以，通过GGUF格式导入，再用Modelfile调整提示词和参数。

三个值得注意的能力

• 本地优先且轻量：一条简单的命令行指令就能安装并运行模型，算力来自你自己的CPU/GPU。
• 对开发者友好：可与Docker、REST API以及Python、JavaScript库配合使用。
• 可定制：支持调整参数、系统消息，也能导入自定义的GGUF/Safetensors模型。
  

近期更新里，几项变化比较实在。新增对Ripple Preview的支持，这是一个面向智能体编程的65B模型；在Apple Silicon上，Qwen3.8 Flash Next的内存占用减少了约27GiB；通过ollama launch claude改进了Claude Code集成；云端模型退役时会给出更清晰的提示；改进了与OpenAI Responses API的兼容性；Windows on ARM平台新增CUDA 13.5支持；llama.cpp同步更新。

硬件门槛并不高

系统方面，macOS需Big Sur（11）或更高版本，Linux需Ubuntu 18.04/20.04/22.04或更高版本，Windows可通过原生安装程序或WSL 2获得完整支持。

CPU最低要求是支持AVX2的现代x86-64处理器，推荐11代英特尔或AMD Zen 4，带AVX512，最好配DDR5内存。内存最低8GB，推荐16GB。

GPU不是必需品，但能显著加速推理。跑7B到13B模型，最低建议8GB显存的英伟达或AMD显卡；30B模型需要16GB显存，65B模型需要32GB，70B以上的超大模型则要48GB甚至更多，可能还得多卡并行。

换句话说，一台16GB内存的普通电脑就能起步，想跑更大的模型，瓶颈主要落在显存上。免费开源加上离线运行，这套组合对在意数据不出本机、又不想被云账单追着跑的人，吸引力很直接。