在本地运行 Qwen3-Next (Qwen3.8-flash) 并开启 1M 上下文

如果你正在使用 EXL3 (exllamav3/TabbyAPI) 运行 Qwen3-Next,且上下文长度被限制在 256k,只需修改配置文件,即可将其提升至 512k 或 1M。无需进行任何补丁操作或重新编译,因为 exllamav3 本身已内置支持 YaRN。以下是突破 256k 限制所需的具体修改步骤:

该模型权重的原生上下文长度为 262144 (256k),`rope_type` 默认为 "default"。云端版本通过启用 YaRN RoPE 缩放(rope scaling)实现了 1M 上下文;你在本地也可以实现同样的效果——只需在 exllamav3 的配置中指定正确的参数键即可。

需要注意的一点是:exllamav3 通常通过 `rope_scaling` 代码块来识别 YaRN 配置,但 Qwen3-Next 使用的是较新的 `rope_parameters` 键。不过,系统在读取配置时会回退到 `rope_parameters`,因此你需要将 YaRN 相关字段放置于此——即嵌套在 `text_config` 内部,而不是作为顶层代码块。

在模型的 `config.json` 文件中,找到 `text_config.rope_parameters`,并添加以下内容:

"rope_type": "yarn",

"factor": 2.0, (2 对应 512k,4 对应 1M)

"original_max_position_embeddings": 262144

同时,将 `text_config.max_position_embeddings` 设置为 524288(或 1048576)。

接着,在 TabbyAPI 的 `config.yml` 中同步调整 `max_seq_len` 参数,并重启服务。确认配置是否生效:exllamav3 在构建 RoPE 时应显示 `is_yarn=True`,并采用你设定的 `factor` 值。如果未生效,说明参数放置的位置有误。

关于显存(VRAM)的一点发现让我感到意外:增大 `max_seq_len` 几乎不会带来额外的显存开销。 `cache_size`(以 token 计)即整个 KV 缓存池的大小。`cache_size` 除以 `max_seq_len`,得出的数值即为能够同时保持“活跃”(warm)状态的全长序列数量。在显存(VRAM)总量不变的情况下,窗口(window)设置得越大,能够同时处理的长序列数量就越少。

验证方法:YaRN 仅在上下文长度超过 262k 时才会介入,因此请务必使用超过 262k token 的提示词(prompt)进行测试——例如进行“大海捞针”(needle test)测试,或者使用一段真正连续的长文本。我曾测试过一个 280k token 的序列,它不仅保持了连贯性,生成速度还能维持在约 57 token/s。这种扩展机制并未导致生成速度下降。

请根据实际用途选择扩展倍率。建议从 2 倍(即 512k 上下文)开始尝试——这对短上下文任务的质量影响较小。仅在确实需要更大空间时才考虑设为 4 倍(即 1M 上下文),并务必在超过 262k 后重新进行验证。如果只是处理单一长序列,设为 1M 是没问题的;但如果有多个序列共享缓存池,设为 512k 则能让更多序列保持“活跃”状态。

最后提醒一点:在交互式使用场景下,如果从零开始(即“冷启动”)处理 512k token 的预填充(prefill),速度会很慢(约 1800 token/s,可能需要数分钟)。但如果是在已有序列基础上继续扩展,并复用 KV 缓存,那么每轮只需预填充新增的 token(约 2k),响应依然会非常迅速。请务必保持缓存处于“活跃”状态,避免被其他任务挤出(evict)。

由于无法在 r/LocalLLaMA 社区发帖,故在此分享。希望能为同样受困于 256k 上下文限制的朋友们提供一些参考。

https://x.com/VishyVj/status/2100010105995481200

分类