从零训练一个微型 GLM-5.3-Flash

从零训练一个微型 GLM-5.3-Flash

地址:github.com/vukrosic/glm-5.3-flash-from-scratch

作者 Vuk Rosic 使用 PyTorch 从随机初始化开始,构建了一个受 GLM-5.3-Flash 启发的 25.7M参数语言模型。
它采用 12 层 Transformer、混合线性与稀疏注意力(9 层 Linear Attention + 3 层 Sparse Attention)、混合专家模型(MoE,8 个路由专家、Top-2 激活)、共享专家以及简化的四路残差流。
项目将复杂的前沿模型架构缩小到消费级 GPU 可以训练和实验的规模,同时提供了 CUDA、Apple Silicon MPS 和 CPU 支持~


分类