(2026) AdaEvolve：让LLM进化的“齿轮”动起来，从静态搜索到层级自适应优化

听兰

[LG]《AdaEvolve: Adaptive LLM Driven Zeroth-Order Optimization》M Cemri, S Agrawal, A Gupta, S Liu... [UC Berkeley] (2026) AdaEvolve：让LLM进化的“齿轮”动起来，从静态搜索到层级自适应优化


AI自动编程正经历从“一键生成”到“推理侧搜索”的范式转移。虽然让LLM在进化算法中充当变异算子已成主流，但现有的框架大多依赖僵化的静态调度，导致算力在平庸的方案上空转，而真正的创新前沿却缺乏资源。

本文推出的AdaEvolve框架，将LLM驱动的进化过程重新定义为一个层级化自适应优化问题。它不再需要人工预设复杂的参数，而是通过一个统一的“累积改进信号”，实现了从微观到宏观的全方位进化。

以下是AdaEvolve实现高效搜索的三个核心层级：

1. 局部自适应：动态调节探索强度
传统的搜索算法往往使用固定的探索率，但这忽略了搜索过程的非平稳特性。AdaEvolve实时监测每个种群的“改进波动”。当方案快速迭代时，系统自动转入“精修模式”以巩固成果；当进展陷入停滞，系统则调高“探索强度”，鼓励LLM尝试更具颠覆性的代码结构。这种灵活性避免了在局部最优解附近反复徘徊。

2. 全球自适应：基于多臂老虎机的资源调度
算力是推理侧搜索最宝贵的资产。AdaEvolve引入了全局归一化的奖励机制，将不同种群（岛屿）视为“老虎机”的臂。它不仅关注谁进步快，更关注谁对全局最优解的贡献大。通过这种动态分配，系统会果断“饿死”那些长期停滞的种群，将预算集中拨给最有潜力的前沿方案。

3. 元引导：生成解题战术
当数值层面的微调失效，说明搜索陷入了思维定式。此时，AdaEvolve会触发“系统2”式的深度思考：调用另一个LLM分析当前的瓶颈，生成高层级的“解题战术”。例如，它会建议从“贪心算法”切换到“动态规划”。这种从代码变异上升到策略演化的机制，是打破搜索瓶颈的关键。

深度思考与启发：

- 搜索的本质不是盲目尝试，而是对反馈的高效利用。AdaEvolve证明了，当变异算子（LLM）已经足够聪明时，控制它的“大脑”也必须进化。
- 算力的浪费往往源于对平庸的宽容。在有限的推理预算下，优秀的算法应当具备“止损”和“加仓”的自觉。
- 真正的突破往往不在于代码的修补，而在于逻辑的重构。元引导（Meta-Guidance）的存在，让AI具备了在搜索中途“换个思路”的能力。

在涵盖组合几何、系统优化和算法设计的185个复杂问题中，AdaEvolve表现出色。在圆堆积（Circle Packing）等经典挑战中，它不仅超越了现有的AI基准，甚至刷新了人类已知的最优记录。

AdaEvolve的意义在于，它将开发者从繁琐的超参数调优中解放出来。你只需要提供问题和预算，剩下的交给算法的自我进化。

arxiv.org/abs/2602.20133v1