嘴上天天喊搞AI，真问Transformer是啥，能讲利索的没几个。

山中八月

嘴上天天喊搞AI，真问Transformer是啥，能讲利索的没几个。

有个仓库够狠，零基础手搓一个GPT，高级库一概不碰。Attention、多头、前馈、Embedding、残差、Layer Norm怎么拼起来，全摊开给你看。而且不只模型，整条链子都在：

1️⃣ 数据下载、预处理、训练、生成一条龙走完
2️⃣ 训练数据用The Pile，22个来源825GB
3️⃣ tiktoken分词，存进HDF5
4️⃣ 预训练完还附上SFT和RLHF的路数
改几个配置就能调大小。13M参数上下就开始拼对语法和单词，白蹭Colab或Kaggle的T4，练一天就出货。
https://github.com/FareedKhan-dev/train-llm-from-scratch