2.78 万亿参数的模型，光靠一颗 CPU 加 8GB 内存就能跑起来？

電波男

2.78 万亿参数的模型，光靠一颗 CPU 加 8GB 内存就能跑起来？

刚瞅见的时候，我心里也直打鼓。Kimi K3，推理部分清一色纯 C99 手搓，BLAS 绕开、框架扔掉、GPU 更是碰都不碰。硬盘里躺着 1.56TB 权重，实测跑起来峰值内存不过 8.24GB，整个引擎满打满算 176KB。

内存给得足，无非是换个节奏：
1️⃣ 寻常笔记本 8GB，蹦一个 token 得等 26.5 秒
2️⃣ 128GB 往上，5.6 秒就出来
要紧的是答案一字不差，连 byte 都对得上，变的只是你干坐着等的工夫。
想折腾的自己把代码拽下来看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c