从LLaMA到DeepSeek｜MLA 手算 03：注意力分数

密斯特真行

从LLaMA到DeepSeek｜MLA 手算 03：注意力分数

上一篇说到：
同一份 c，每个头用自己的矩阵，算出各不相同的 K

这有什么用呢？
这一篇用分数来看
Q 照常计算，不进缓存，也不压缩
每个头取出自己的两列，和自己的 K 做点积
得到 3×3 的分数矩阵：
行是谁在看，列是被看的词

右上角被因果遮罩挡住
每个词只能看到自己和前面的词
重点看最后一行「鱼」

Query 一样，关注的词却不同
差别全部来自各自的 K
如果换成 MQA，所有头共用同一份 K
这两行分数会完全一样
这就是 MLA 想保住的东西：
缓存压得很小，多头依然是真正的多头。