想在自己电脑上跑参数量上千亿的大模型，以前基本没戏，显存装不下，勉强跑起来也慢得没法正常对话。

想在自己电脑上跑参数量上千亿的大模型，以前基本没戏，显存装不下，勉强跑起来也慢得没法正常对话。

FreeToken 是一个专门为个人电脑设计的推理引擎，主打在游戏显卡上本地运行 290B 以上的 MoE 大模型，已经拿下 17000+ Star。

它把显卡、CPU 和内存当成一个整体来调度，让 CPU 和 GPU 协同计算，显存还能在运行中重新分配，不用重启引擎。

GitHub：http://github.com/FlashML-org/FreeToken

支持 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 这些开放权重模型，量化格式覆盖 GGUF、FP8 等好几种。

接口兼容 Anthropic 和 OpenAI 的格式，Claude Code、Codex、OpenCode 这类工具可以直接接到本地模型上用。

原生支持 RTX 30、40、50 系显卡，Windows 和 Linux 有带界面的桌面版。论文作者里有 Ion Stoica 和 Matei Zaharia，这个阵容我是没想到。