← 返回全部文章
AI 与工程 · 2026-10-22

论文调研:自进化 Agent 是不是合格的持续学习者

12 min read
说明

一分钟看完全篇 这篇论文问了一个少有人测的问题:现在主流的自进化 Agent(不改模型权重,只靠改写 prompt、记忆、技能来变强)在任务会漂移的真实环境里,能不能边学新的边不忘旧的? 在论文所测方法与任务流中,还没有同时做到。自进化在大多数任务流上确实涨点,但 可塑性(学新任务的能力)和稳定性(不忘旧任务)始终是跷跷板 :改共享 prompt 的方法最能学,也最容易把旧知识冲掉;只做相似记忆检索的方法最稳,但遇到”问法相似、做法相反”的任务会串味。 对我们的直接意义: 自改规则必须局部化、可回滚,不能让 Agent 对全局配置做无审计改写;规则上线要走召回和门禁、不自动生效。 论文构造漂移任务流的方法,也可以直接借来做技能回归测试。

论文信息

标题Are Self-Evolving Agents Continual Learners?
作者Xiaoyin Chen(Mila / 蒙特利尔大学,Google DeepMind 学生研究员)、Yizheng Huang、Yinglun Xu、Ziyun Zhao、Emmett McQuinn、Julie Liu、Hope Yao
时间 / 链接2026-10-19 提交,arXiv:2610.25858(cs.AI / cs.LG),CC BY 4.0;论文链接
一句话定位不是提出新方法,而是给现有三类自进化 Agent 做持续学习”体检”,用漂移任务流和 P/S 拆解暴露它们的失效模式。

研究问题:为什么要做这个实验

LLM Agent 长期服务用户时,新工具、新工作流、新领域会在权重冻结之后持续冒出来,而每次会话结束就做梯度更新既贵又会侵蚀通用能力。非参数自进化(nonparametric self-evolving)因此成了自然选择:不动权重,只更新 harness ——模型外面包着的一切,包括系统 prompt、累积记忆、技能库和调度它们的控制代码。

但这一范式此前只在单一、静态的 benchmark 上验证过。真实部署里,多个异质任务共用一个 harness,为一个任务做的修改会作用到后面所有任务。论文要回答的就是: 这种自我更新,累积的是持久收益,还是相互干扰?

论文把现有方法分成两派:

  • 自修改(self-modification) :直接改写 Agent 运行所依赖的产物,如系统 prompt 或 harness 代码。
  • 经验增强(experience augmentation) :产物不动,把反思、成功轨迹、工具库存进外部存储,执行时按相似度检索。

实验设计:怎么造一个”会漂移”的任务流

论文用 BIRD(text-to-SQL 查数据库)、BFCL(多轮函数调用)、ScienceWorld(文字交互科学实验)三个 benchmark,构造了四种 漂移流(drifting stream) :任务按组连续成块,每块 50 个训练任务,组标签和块边界对 Agent 完全不可见,模拟 task-free 持续学习。

漂移类型任务块顺序隔离了什么变化
主题漂移BIRD-F1 → BIRD-Code → BIRD-TP(3 个数据库)环境和工作流不变,只换数据库主题;旧库的 schema 假设不能带到新库
工作流漂移BFCL-Miss → BFCL-Base同一套 API,但前者缺参数必须先向用户澄清,后者参数齐全、多问反而扣分——做法恰好相反
领域漂移ScienceWorld → BFCL-Base → BIRD-F1环境、观测空间、动作空间整体切换
复合漂移BIRD-Code → BIRD-F1 → BFCL-Miss → BFCL-Base(4 组)更长周期,主题、领域、工作流漂移依次发生,跨域和同域冲突挤在一条流里

评测的三个方法横跨两派、且可编辑面依次扩大:

  • ReasoningBank (经验增强):每个 episode 沉淀一条记忆,执行时检索 top-1 最相似的注入上下文,不碰系统 prompt。
  • GEPA (自修改):基于收集到的 rollout 反思式变异,重写系统 prompt 里一个共享的策略段落。
  • Meta-Harness (自修改):由 coding agent 对整个持久化工作区提编辑(系统 prompt、记忆/技能文件、控制代码 harness.py),只有在当前子块验证集涨点时才接受。

基座统一用 Gemini 3.6 Flash + ReAct 循环;每个块边界冻结 harness 做一次全量 checkpoint 评测。指标上,除了终局收益(Term.)和平均收益(Δ̄),关键是把表现拆成两块: 可塑性 P (任务块结束时相对种子的收益)和 稳定性 S ,后者又拆成块前干扰 I(还没轮到的组被前面的规则带歪)和块后遗忘 F(学完的组被后面的块冲掉)。

核心结论:可塑性和稳定性是跷跷板

四种场景、三种方法的总体结果如下(相对种子 harness 的百分点变化,越高越好;S 越接近 0 越好):

漂移场景(流平均)RB:P / SGEPA:P / SMH:P / S终局收益 Term.
主题漂移+0.7 / −1.1+1.7 / −4.8−2.0 / −0.3RB +0.3 / GEPA −1.7 / MH −1.5
工作流漂移+8.5 / −4.8+11.0 / −6.5+3.8 / −0.5RB +4.5 / GEPA +4.5 / MH +4.8
领域漂移+1.1 / −0.4+4.7 / −2.4+4.2 / −3.1RB +2.6 / GEPA +6.2 / MH +1.6
复合漂移+3.1 / −1.4+7.5 / −3.3+2.9 / −4.4RB +2.8 / GEPA +5.8 / MH +0.8
四场景总体+3.3 / −1.9+6.2 / −4.3+2.2 / −2.1RB +2.5 / GEPA +3.7 / MH +1.4

自进化在工作流、领域、复合漂移上整体都涨点(终局 GEPA 平均 +3.7),唯独主题漂移基本无效甚至略降。但把分数拆成 P 和 S,规律非常一致: 每个场景里可塑性最高的方法,稳定性一定最差。

原因落在更新作用的范围上。GEPA 把规则写进每个 rollout 都会注入的共享 prompt,所以可塑性全场最高(平均 +6.2),但后面的块重写同一份 prompt,稳定性损失也最大(−4.3)。ReasoningBank 不碰 prompt,记忆只在查询相似时才注入,更新天然局部化,拿到最好的平均稳定性(−1.9),代价是可塑性大约只有 GEPA 的一半。Meta-Harness 同样改全局工作区,在领域和复合漂移上最不稳;它在主题、工作流漂移上看起来稳,只是因为验证门禁拦掉了一半以上的候选更新,工作区被冻住、可塑性也没了——论文还做了消融:拿掉门禁后,它在主题/工作流漂移上的稳定性分别掉到 −3.1 / −5.5。

说明

关键判断:Meta-Harness 的”稳”是门禁换来的,不是架构带来的。 一旦放开自动接受,全局工作区改写的破坏力和 GEPA 一样。门禁不是可选项,是这类方法的安全气囊。

失效机制一:自修改的跨任务干扰与覆盖

块前干扰:任务专属规则被无条件全局执行

在一个块里学到的规则,会被写进所有后续 rollout 都要读的共享面,于是还没轮到的任务组也被强制套用。领域漂移中,先训 ScienceWorld 让 GEPA 在 BFCL-Base 上掉 5.5;复合漂移中,两个 BIRD 块还没见到任何 BFCL 任务,就把 BFCL-Miss 在位置 100 拉低 6.8(GEPA)。检查演化后的 prompt 能看到直接原因:两个 BIRD 块把”必须先做 SQLite 探查、交互式验证”写进了全局系统 prompt,导致 Agent 面对本该向用户追问缺参的 BFCL-Miss 时,去乱调探查工具。哪怕只换主题(三个 BIRD 库),这种干扰照样存在。

块后遗忘:旧规则被压缩、覆盖

论文逐 checkpoint 追踪 GEPA prompt 里每个块写入内容的字符占比,覆盖过程肉眼可见:

  • 主题漂移中,BIRD-F1 的规则占比从位置 50 的 100% 掉到位置 100 的 75.2%、位置 150 的 40.2%,其准确率同步从 +7.5 掉到 +3.5、再到 −2.0。
  • 复合漂移中,从 BIRD 切到 BFCL-Miss 时,GEPA 把 7 节共 3386 字符的 SQL 规则压成一节 1034 字符的通用描述,BIRD-F1 的占比从 59.5% 掉到 5.8%,+4.0 的收益到流末尾被清零。
  • 就算把四组任务均匀交错(interleaved Mix,相当于梯度持续学习里的 rehearsal)也救不了:各组仍在同一份 prompt 里抢空间,GEPA 终局收益从 +5.8 掉到 +0.9。

偶尔,当相邻块来自毫不相干的领域时,evolver 会自发采用”追加而非重写”的策略,原样保留旧章节,做到零遗忘(领域漂移上 prompt 从 4372 字符一路追加到 7621)。但这个行为不可靠:同样是跨域的复合漂移,它却选择压缩。 “追加还是压缩”由模型即兴决定,没有机制保证。

最严重的遗忘:问法一样、做法相反时直接行为反转

遗忘在连续块查询几乎相同、但要求相反工作流时最剧烈。种子 Agent 在 BFCL-Miss 上 91%–93% 的 episode 都盲目调工具,只有 3.8%–5.8% 会追问缺参。训完 BFCL-Miss,GEPA 学会先澄清(澄清率升到 29.8%,准确率 +15.5);但紧接着的 BFCL-Base 参数齐全、追问会扣分,两个自修改方法又把指令改回”直接连续调工具”,BFCL-Miss 的澄清率被打回 11.2%,准确率从 +15.5 掉到 +2.5。Meta-Harness 在复合漂移上同样反转:位置 150 刚在 prompt、记忆、技能三个文件里写下”缺参禁止猜测式调用”,位置 175 一条被接受的编辑就把三个文件整体覆盖成”立即执行”,澄清率从 60.8% 掉到 8.5%,准确率掉 10.2。

失效机制二:相似度检索防不住干扰与碰撞

ReasoningBank 不碰系统 prompt,在领域分得开时确实能消除块后遗忘:ScienceWorld、BFCL、BIRD 的组内最近邻余弦相似度 0.80–0.95,跨域只有 0.57–0.63,域漂移时块后零跨域检索、遗忘为 0。但检索本身仍有两个绕不过的问题。

一是块前外来记忆注入。 检索没有相似度阈值,一个组在自己的块开始前,记忆库里零条同组条目,于是 100% 的 episode 都被注入外来记忆——复合漂移中位置 50/100 的每条 BFCL-Miss 都拿到一条 BIRD 的 SQL 反思,被拉低最多 3.2。加阈值能缓解”无阈值乱检索”,但救不了第二种。

二是检索碰撞:问法相似、做法相反时,任何相似度阈值都分不开。 BFCL-Miss 和 BFCL-Base 用同一套 API、措辞几乎一样,跨组最近邻相似度 0.835–0.840,和组内的 0.834–0.837 完全无法区分。结果在流末尾,52% 的 BFCL-Miss episode 检索到的是 BFCL-Base”奖励多步调工具”的记忆,46% 的 BFCL-Base 反过来检索到 Miss 的记忆,BFCL-Miss 准确率从 +12.5 掉到 +4.5。语义相似度只捕捉”话题像不像”,判断不了”这条轨迹的做法和当前任务兼不兼容”。

方法局限与可信度

  • 结论是”现状不完整”,不是”自进化没用”。 多数流上整体收益为正,论文否定的是”无需额外机制就能自然持续学习”这个隐含假设。
  • 评测面较窄。 只用了 Gemini 3.6 Flash 一个模型、ReAct 一种循环;三个 benchmark 都是结构化任务,二值成功奖励。换更强/更弱模型、开放式任务,P/S 曲线的具体数值可能变,趋势需要复现。
  • 只测了非参数路线。 梯度更新的测试时学习(TTRL、TTT-Discover 等)没有纳入对比,“harness 更新 vs 权重更新”谁更适合持续学习仍是开放问题。
  • 只覆盖块式漂移。 块边界对 Agent 不可见这一点设计得好,但真实流量里组往往混合到达;论文只补了一个均匀交错 Mix 对照,渐变漂移、周期回流等形态没测。
  • 方法是代表性复现而非作者原版全配置。 ReasoningBank 固定 top-1、无阈值,属于偏朴素的检索配置;更强的检索(带路由、带工作流标签)本就可能改善碰撞,论文也明确把”超越表层相似度的检索条件化”列为方向。
  • 样本规模有限。 每组 50 个训练任务、50(ScienceWorld 90)个评测任务、每题 8 次 rollout,多数结论靠机制分析(prompt 占比追踪、行为反转统计)补强,而非单纯的分数显著性。
  • 验证门禁存在结构性盲区。 Meta-Harness 的门禁只看当前子块的验证准确率,天然发现不了“这次改动会不会拖累还没出现的任务”——块前干扰 I 恰恰是这种盲区的直接产物。这也反过来说明:只在当前任务上做回归的自改机制,结构上就管不了跨任务影响,门禁的验证集必须覆盖既有任务而不只是新任务。

可信度上,论文最强的不是某个分数,而是 把失效做成了可观察的机制证据 :prompt 字符占比的逐块迁移、澄清率随训练块的反转、跨组检索相似度矩阵和外来记忆比例,三条独立证据分别对上自修改和检索两条路线的预言,结论内部自洽。作为一篇立场是”证伪”的经验研究,它给的是设计约束,不是终局答案。

对Agent架构的启示

说明

这篇研究可以给iLoop、Personal Harness与技能体系提供设计约束;论文实验不等于这些系统自身的效果验证。

  1. 自改必须局部化,禁止无审计的全局改写。 GEPA/Meta-Harness 的教训是:一条为特定任务写的规则一旦进全局 prompt,就会在所有任务上生效。技能应该按场景/域隔离、按条件加载,而不是把经验沉淀进对所有任务生效的全局配置。
  2. 规则上线走门禁、可回滚,不自动生效。 Meta-Harness 拿掉验证门禁后稳定性崩掉,说明”改完就用”是当前自进化最危险的默认值。我们的做法——改动走每日召回、badcase 回归、门禁通过才合入、git 频繁提交可回退——正是论文数据支持的路径。
  3. 记忆检索不能只靠表层相似度,要带“工作流兼容性”。 52% 的碰撞率说明 embedding 近邻无法区分“问得像但做法相反”。往技能/记忆库里加东西时,应同时索引适用条件、任务类型和冲突关系;检索命中后要有一道“这条经验适不适用于当前工作流”的判断,而不是直接注入;库里没有同类经验时应允许检索结果为空,而不是强制返回最相似的一条外来记忆。
  4. “追加还是压缩”不能交给模型即兴决定。 同一种方法在两个跨域点一个追加、一个压缩,结果一个零遗忘一个清零。技能更新策略本身要显式化:默认追加新版本、保留可追溯历史,压缩/合并旧规则必须是独立的、受门禁约束的动作。
  5. 漂移任务流可以直接借来做技能回归。 四种漂移(主题/工作流/领域/复合)加 P、I、F 拆解,是一套现成的回归测试构造法:把历史 case 按漂移类型排成块,每次改技能后跑全量 checkpoint,既看新场景收益,也看旧场景有没有被带歪。工作流漂移尤其值得优先做——它最能暴露”学会新做法、忘掉相反旧做法”。
  6. 评测要同时报 P 和 S,不能只看总分。 同一个终局分数可能来自”各组均衡涨”,也可能来自”当前组大涨、其他组大跌”。技能迭代的验收口径里应该固定包含对既有场景的回归项,避免总分掩盖遗忘。

原文: Are Self-Evolving Agents Continual Learners?(arXiv:2610.25858)

100%