从零训练一个微型 GLM-5.3-Flash

[复制链接]
发表于 昨天 10:32 | 显示全部楼层 |阅读模式
从零训练一个微型 GLM-5.3-Flash

地址:github.com/vukrosic/glm-5.3-flash-from-scratch

作者 Vuk Rosic 使用 PyTorch 从随机初始化开始,构建了一个受 GLM-5.3-Flash 启发的 25.7M参数语言模型。
它采用 12 层 Transformer、混合线性与稀疏注意力(9 层 Linear Attention + 3 层 Sparse Attention)、混合专家模型(MoE,8 个路由专家、Top-2 激活)、共享专家以及简化的四路残差流。
项目将复杂的前沿模型架构缩小到消费级 GPU 可以训练和实验的规模,同时提供了 CUDA、Apple Silicon MPS 和 CPU 支持~


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部