2.78 万亿参数的模型,光靠一颗 CPU 加 8GB 内存就能跑起来?

2.78 万亿参数的模型,光靠一颗 CPU 加 8GB 内存就能跑起来?

刚瞅见的时候,我心里也直打鼓。Kimi K3,推理部分清一色纯 C99 手搓,BLAS 绕开、框架扔掉、GPU 更是碰都不碰。硬盘里躺着 1.56TB 权重,实测跑起来峰值内存不过 8.24GB,整个引擎满打满算 176KB。

内存给得足,无非是换个节奏:
1️⃣ 寻常笔记本 8GB,蹦一个 token 得等 26.5 秒
2️⃣ 128GB 往上,5.6 秒就出来
要紧的是答案一字不差,连 byte 都对得上,变的只是你干坐着等的工夫。
想折腾的自己把代码拽下来看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c



分类