控制 LLM 每次响应的 7 个参数。

宇乐

控制 LLM 每次响应的 7 个参数。

LLM 通过从整个词汇表的概率分布中采样，一次生成一个词元。这七个参数决定了采样的方式。

1) 最大词元数

限制返回词元数量的上限。它会在达到上限时停止生成，而不是要求模型结束生成。因此，较低的值会生成截断的句子，而不是更短的答案。

2) 温度

在将分数转换为概率之前对其进行缩放。低于 1 会使分布向最可能的词元集中，高于 1 会使分布趋于平缓，从而使不太可能的词元也有机会出现，而 0 则使输出实际上是确定性的。

3) Top_p

保留概率总和为 p 的最小词元组，然后仅从该组中采样。它会根据模型的置信度进行调整：当某个词元占主导地位时，保持较小的范围；当模型不确定时，扩大范围。

4) Top_k

保留最有可能的 k 个词元，丢弃其余词元，无论概率分布如何。这是一个固定大小的截断，因此即使模型对某个答案很有把握，它仍然可以保留一些弱词元。

5) 频率惩罚

根据词元已出现的次数降低其得分。它可以防止相同的短语每隔一行就出现一次。

6) 出现惩罚

只要词元出现过，就会降低其得分，与出现次数无关。它促使模型探索尚未涉及的词汇和主题，这表现为更广泛的覆盖面，而不是减少重复。

7) 停止序列

一个字符串列表，当生成这些字符串时，会立即停止生成。这可以防止模型生成它原本只应回答的对话的下一轮。

该列表包含三个不同的功能：温度、top_p 和 top_k，它们在选择词元之前重塑分布。这两个惩罚项会根据已输入的内容修改分数。最大词元数和停止序列决定何时退出。

温度和 top_p 都会扩大同一个词池，因此同时调整这两个参数会使效果难以归因。调整其中一个时，保持另一个不变。

每个参数的值范围都显示在图中。

提示决定了模型想要表达的意思。这些参数决定了模型在表达过程中如何选择每个词。

我撰写了一篇完整的、基于第一性原理的分析文章，详细阐述了推理调用、预填充、解码、键值缓存等所有环节的内部运作机制。

文章内容如下。