[CL]《Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning》J Zhang, Z Yu, L Wang, N Yang… [Mic

《Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning》J Zhang, Z Yu, L Wang, N Yang… (2026)


在推测解码领域,如何在"多猜"与"快验"之间找到实时最优平衡,始终是一个悬而未决的难题。过去的方法要么固守静态配置,要么只优化"猜对多少个"这一代理指标,本质原因是将起草阶段与验证阶段割裂处理,忽视了两者的时间成本与相互依赖。

本文的核心洞见是:把"猜多少"与"验多少"重新看作一个需要协同决策的整体而非两个独立问题。由此,用强化学习训练两个轻量策略网络——一个动态决定起草深度,一个动态决定验证规模——并以每轮的实际吞吐量(接受词元数除以总耗时)作为奖励信号,让两个策略在迭代中相互适应,这一关键设计使问题得以解开。

这项工作真正留下的遗产是:证明了以吞吐量为直接优化目标、并通过强化学习协同调度两阶段资源,比任何单独优化单一指标的方法都更有效。它为后来者打开的新门是:将在线RL引入推测解码的动态控制,为更复杂的多策略协同加速提供了可复用的范式;但尚未跨过的门槛是:当前策略仍依赖特定草稿模型架构(Eagle3),对通用性的验证尚不充分,且在极高采样温度下提升幅度依然有限。

arxiv.org/abs/2603.01639
























##
分类