2.78万亿参数的模型，一颗CPU加8GB内存就能跑？

艺洋的蜜蜂

2.78万亿参数的模型，一颗CPU加8GB内存就能跑？

第一次看到我也不敢信。Kimi K3，纯C99写的推理，不用BLAS、不用框架、更不用GPU。硬盘上摆着1.56TB的权重，实测跑起来峰值内存才8.24GB，整个引擎就176KB。

内存多点，无非是换个速度：
1️⃣ 普通笔记本8GB，吐一个token要26.5秒
2️⃣ 128GB以上，只要5.6秒
关键是答案一模一样，连byte都不差，变的只有你等的时间。

想折腾的自己拉代码去看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c