第一次看到我也不敢信。Kimi K3，纯C99写的推理，不用BLAS、不用框架、更不用GPU。硬盘上摆着1.56TB的权重，实测跑起来峰值内存才8.24GB，整个引擎就176KB。
内存多点，无非是换个速度：
1️⃣ 普通笔记本8GB，吐一个token要26.5秒
2️⃣ 128GB以上，只要5.6秒
关键是答案一模一样，连byte都不差，变的只有你等的时间。
想折腾的自己拉代码去看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c
2.78万亿参数的模型，一颗CPU加8GB内存就能跑？
2.78万亿参数的模型，一颗CPU加8GB内存就能跑？
第一次看到我也不敢信。Kimi K3，纯C99写的推理，不用BLAS、不用框架、更不用GPU。硬盘上摆着1.56TB的权重，实测跑起来峰值内存才8.24GB，整个引擎就176KB。
内存多点，无非是换个速度：
1️⃣ 普通笔记本8GB，吐一个token要26.5秒
2️⃣ 128GB以上，只要5.6秒
关键是答案一模一样，连byte都不差，变的只有你等的时间。
想折腾的自己拉代码去看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c
第一次看到我也不敢信。Kimi K3，纯C99写的推理，不用BLAS、不用框架、更不用GPU。硬盘上摆着1.56TB的权重，实测跑起来峰值内存才8.24GB，整个引擎就176KB。
内存多点，无非是换个速度：
1️⃣ 普通笔记本8GB，吐一个token要26.5秒
2️⃣ 128GB以上，只要5.6秒
关键是答案一模一样，连byte都不差，变的只有你等的时间。
想折腾的自己拉代码去看
🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c