有个仓库是真狠，零基础手搓一个 GPT，高级库碰都不碰。Attention、多头、前馈、Embedding、残差、Layer Norm 怎么拼到一块儿，全摊开摆你面前。而且不光是模型，整条链子都在：
1️⃣ 数据下载、预处理、训练、生成，一条龙走完
2️⃣ 训练数据用 The Pile，22 个来源 825GB
3️⃣ tiktoken 分词，存进 HDF5
4️⃣ 预训练完还附上 SFT 和 RLHF 的路数
改几个配置就能调大小。13M 参数上下就开始拼对语法和单词，白蹭 Colab 或 Kaggle 的 T4，练一天就出货。
https://github.com/FareedKhan-dev/train-llm-from-scratch