刚瞅见的时候,我心里也直打鼓。Kimi K3,推理部分清一色纯 C99 手搓,BLAS 绕开、框架扔掉、GPU 更是碰都不碰。硬盘里躺着 1.56TB 权重,实测跑起来峰值内存不过 8.24GB,整个引擎满打满算 176KB。
内存给得足,无非是换个节奏:
1️⃣ 寻常笔记本 8GB,蹦一个 token 得等 26.5 秒
2️⃣ 128GB 往上,5.6 秒就出来
要紧的是答案一字不差,连 byte 都对得上,变的只是你干坐着等的工夫。
想折腾的自己把代码拽下来看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c