我靠!这群极客简直把 CPU 榨出了神仙性能! 一块独立显卡都不用,光靠 64G 内存就硬生生跑起 284B 大模型!

我靠!这群极客简直把 CPU 榨出了神仙性能!

一块独立显卡都不用,光靠 64G 内存就硬生生跑起 284B 大模型!

大模型圈子刚蹦出一个逆天级开源狠货:synchopate/llama-modchip。

搁以前,想跑 2840 亿参数的 DeepSeek-V4,怎么着也得几台八卡 H100 服务器

可这个项目直接把桌子掀了:一张独显都不需要,凭普通家用 CPU 加 64GB 电脑内存,就把 284B 的巨无霸硬塞了进去,而且跑得飞快!

明子对着官方测试数据核了一遍它的恐怖参数:

· 零 GPU 纯内存硬扛:昂贵的显卡完全不用买,284B 深度求索模型被压到 56.9GB 占用,普通 64G 内存台式机直接吞下,全程不会触发虚拟内存交换

· 纯 CPU 速度竟然完全够用:靠向量指令集优化,284B 模型的生成速度稳稳落在 9 到 14 tok/s,投机采样最高冲到 25 tok/s,余弦相似度维持在 99.15%

· 跑 30B 模型直接起飞:换成 30B 级别的 MoE 模型,体积只有 13.3GB,连 16G 内存的轻薄本都能带得动,纯 CPU 甚至能飙出每秒 111 个 Token 的狂暴速度

· 开箱即用的全家桶:自带免依赖的暗黑 Web UI 和终端交互,甚至原生支持直接挂给 Claude Code 当本地后端

不过想上车的兄弟,这两条限制先记牢

· 必须有实打实的 64GB 物理内存,低于这个容量会频繁触发 Swap 交换导致卡死

· 它基于定制补丁版的 llama.cpp,官方标准版 Ollama 认不了这种特种量化格式,得用它自带的脚本拉起来
显卡厂商看到这个项目估计要汗流浃背了,纯靠 CPU 居然能把 284B 驯服到这种地步。

你的电脑现在插了多少 G 内存?敢不敢把这只 284B 的庞然大物拖下来测一圈?

👉 开源仓库地址:https://github.com/synchopate/llama-modchip


分类