Google Gemma团队发布了一个官方交互式教程,解释LLM是如何工作的(当然是以Gemma为例,也介绍了Gemma 4 的架构优化内容)

[复制链接]
发表于 5 小时前 | 显示全部楼层 |阅读模式
Google Gemma团队发布了一个官方交互式教程,解释LLM是如何工作的(当然是以Gemma为例,也介绍了Gemma 4 的架构优化内容)

地址:gemma.ai/learn/how-llms-work/
#微博视频号续航计划#
教程把 LLM 的工作过程拆为五个阶段:
① Tokenization:将文本拆成 Token 并映射为整数 ID;
② Embeddings:将 Token 转换为高维向量,使模型能够学习语义关系;
③ Attention & Transformer Layers:通过 Q、K、V 注意力机制关联上下文,再由 FFN 或 MoE 网络处理信息;
④ Sampling:将模型输出转换为词表上的概率分布,使用 Temperature、Top-K、Top-P 控制下一 Token 的选择;
⑤ Chat & Tools:通过聊天模板、特殊控制 Token、推理模式及工具调用,把逐 Token 预测过程组织成完整的助手行为。 http://t.cn/AXTMb7S3

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部