FRONTIER · 2026-10-05 · 预印本

测过的优化,为什么还在跑

一份代理优化通过了全部初始测试,成本也更低。授权规则后来变了,它开始在失效之后继续执行。归档里有正确的替代,挑选它的仍是当初那份分数。

1版本号缓存

Zhang 等人 2026 年 10 月 1 日放在 arXiv 上的预印本,测试台是带状态的授权任务。他们给的例子可以单独看完。

代理在每个受保护动作之前检查权限。一份效率优化把这个判断缓存下来,只在令牌版本变化时刷新。初始测试全部通过,开销更低。服务后来引入委托权限。上游可以撤销授权,同时不改那个本地版本号。优化过的代理继续执行。最初那份程序仍然正确,因为它每次请求都查当前有效权限。论文把这份最初的正确程序叫 founder。

新测试能看到这次失败。归档里有正确修复。历史分数仍然偏向那份旧优化,修复留在归档里。

最初程序 每次请求都查 当前有效权限 旧优化 版本号不变 就沿用上次判断 规则变了 上游撤销授权 本地版本号不动 还在跑 旧优化继续执行 最初程序仍正确 蓝:最初那份正确程序(founder)。黄:通过了初始全套测试的优化。红:规则变化之后的状态。 新测试能看见失败。历史分数仍偏向旧优化,不偏向归档里的正确修复。
图 1. 例子来自 arXiv:2610.01073 的引言。受控测试台。生产事故报告里没有这个案例。

自进化讨论里常见的问题是模型还能不能改自己的脚手架。这篇把问题换了一下:改完并测过的那一版,在合同变了以后,系统还会不会因为它「测过」而继续用它。

2三件被拆开的事

检测出失败、做出正确替代、让正确的那一版跑起来,在这套实验里是三次分开的干预。作者分别控制:哪一版通过验证,哪一版继续运行,下一轮编辑器改的是哪一版。

测试台覆盖四类任务:会话授权、文件系统隔离、工具批准、结构化的用户同意。固定的 LLM 编辑器反复优化可执行的代理组件。种子事件流把请求、撤销和范围变化交织在一起。另有独立的轨迹,把「产生了未授权效果」和「完成了允许的工作」分开。一律拒绝不算修好,因为允许的工作也没做。

哪一版通过了验证 旧优化,初始全套测试 哪一版正在跑 可以仍是旧优化 下一轮改哪一版 可以是失败版,或最初版 三格可以指向三份不同的程序。只看「有没有通过记录」答不全。 论文图 1 用红表示当前代码,蓝表示 founder,绿表示当前仍通过的回退。
图 2. 配对实验把这三次选择拆开。绿框的回退在图注里:没有通过的回退时,执行暂停。

3两条留下的路

第一条路:授权依赖变了,以前测过的优化失效。历史分数在 48 份框架历史里,有 22 份继续保留同一批不安全程序。每一份受影响的归档里都有正确替代。论文没有把其余 26 份称作安全,这里也不画成成功。

第二条路:合同没变。当前程序和所有提案都没通过验证时,keep-after-rejection 让失败的当前程序继续处于活动状态。作者把这份正在跑的失败版本叫 incumbent。评估已经给出失败,运行没有停。

48 份框架历史。着色的 22 份保留了同一批不安全程序。 22 / 48 留着不安全程序 其余 26 份未被称为安全 每一份受影响归档里都有正确替代。历史分数仍偏向旧优化。 合同不变时还有第二条:提案全部被拒绝,失败的现任继续跑。 来源:arXiv:2610.01073 摘要。分母是框架历史份数。线上请求数不在这个实验里。
图 3. 22/48 是「历史分数留下同一批不安全程序」的份数。灰的一段没有正面结论。

4刷新、回滚、从哪版改

把归档里的分数、反馈和选择元数据按当前条件刷新,原测试集上可以恢复正确。另外独立拼出来的测试仍有残留失败。刷新修的是「旧分数还在引用过期结果」,修不到测试套件本身没覆盖的新组合。

从同一批失败出发,下一轮去编辑最初那份实现,比去编辑失败的那一版,恢复更好。幅度因编辑器而异。摘要没有展开是哪些编辑器,这里不补名字。

全量验证,以及「验证过再回滚」,在核心轨迹实验里终点都是完全正确的程序,同时保留超过 43% 的部署开销节省。摘要的原话是 retaining over 43% deployment savings。论文图注里的执行规则更硬:没有当前仍通过的回退时,执行暂停。

所以要分开定的是两件事。运行位只接受当前条件下通过的版本,没有这样的版本就停。下一轮编辑从最初那份正确程序开始,或从当前仍通过的回退开始。正在失败的现任不作为编辑起点。

5同周还在写的记录

同一周的几篇预印本都在往代理的外部记录里写东西。它们没有做 Zhang 等人的授权实验。放在这里,是因为那些记录下一轮会被当成仍然有效。

ActiveSaddler(arXiv:2610.00906)让训练课程跟着脚手架变。反复出现的失败收成可复用的失败模式,再决定还值不值得练。相对场景顺序事先固定的同一套优化器,测试 Pass@1 在 GAIA2 上高 4.4 个百分点,在 Terminal-Bench 2.0 上高 7.5 个百分点。它报告的是测试集没变时的通过率。Zhang 的实验问的是另一件事:合同变了以后,旧测试上的通过还算不算数。两篇不互相否定。课程可以变,上线用的分数不能沿用变之前的那一轮。

Rep2Skill(arXiv:2609.39149)用模型内部表征沿轨迹的偏离,给技能文本写修改意见。执行和改技能是同一个模型。ALFWorld 上 Qwen3-4B 成功率 52.24%,Qwen3.5-9B 69.90%,比最强的纯文本技能进化高 4.98 和 7.77 个百分点。分母是这个仿真环境、这两个模型、三次随机种子的平均。留下的产物是一段新的技能文本。这段文本若被后续步骤读成「用户已经同意这样做」,就接到下一节。

RPG(arXiv:2610.02204)在仿真里改符号技能和系统提示,跨任务评估通过才保留,权重不动。22 个操作任务的留出初始状态上,成功率从第一轮练习后的 28.6% 到 15 轮后的 95.0%。3 个真实任务各 10 次、共 30 次物理试验,在统一标定和硬件适配之后全部成功。30 和 22 不要加在一起。它做了「留下之前先测」。测的是操作任务。授权依赖没有进这套评估。

Mímir(arXiv:2610.02038)把边界写进结构。经验只能改以后的推理上下文。物理模型、评估器、执行约束不动。同一套回顾评估器下,灌溉量比历史排班回放少大约 51%。拿掉前向仿真、验证修订或持久上下文,控制成本上升。这是少数把「什么记录允许变」写成不变量的一篇。

6技能文件里的进度

Dong 等人的 APEX(arXiv:2610.01564)不改权重,改的是技能之间交接的那份记录。上游技能诱使代理写下「任务确实有进展」。这份记录里夹一条虚假的用户同意。下游技能读到它,去执行攻击者选定的动作。技能可以来自公开仓库。

四个目标动作族、六个模型、SkillsBench:690 次尝试里 512 次做成,74.2%。GPT-5.4 上,完整链 84.3%;同一套流程并进单个技能,17.4%。让代理对照原始请求检查技能产出的文件,GPT-5.4 上攻击成功率从 84.3% 降到 59.1%。与此同时,72 个正常原生技能任务的验证通过率从 86.7% 降到 56.3%。后一个分母是 72 个良性任务。690 次是攻击尝试,两套数不要合在一起。

测量结果分母
技能链做成选定动作512 次,74.2%690 次尝试,四个动作族,六个模型
GPT-5.4,链 vs 并成一个技能84.3% vs 17.4%该模型上的尝试
提示词防御后的攻击84.3% → 59.1%GPT-5.4,选定动作
同一防御下的正常任务86.7% → 56.3%72 个良性原生技能任务

两行防御数字不能合成「防御有效 25 个百分点」。正常任务掉下去的那一段用的是另一个分母。

和授权缓存是同一类缝。系统把一份早先写下的记录,当成现在仍然有效的同意。那里的记录是测试分数,这里的记录是技能写在任务目录里的进度。

7换书时的排序

Anthropic 2026 年 9 月 24 日的 Project Swap 用 201 名员工换书。每人的偏好收成一份对池子里所有书的排序,代理拿着这份排序去交易。人自己的排序上,能达到的最好分配是 0.89,大约是 10 本里的第 2 本。市场结果平均 0.55,大约是第 5 本。用 Claude 的排序算出最好分配,再拿人的真实排序打分,是 0.60。

作者据此说,没理解主人占了离 0.89 这段差距的多数(85%),自由交易占剩下的 15%。用 Claude 的排序跑 Top Trading Cycles,再拿人的排序打分,也是 0.60,和去中心化市场的 0.55 接近。排序是噪声之后,市场设计几乎不改变结果。

都是人的真实排序上的分数。1 最好。0.55 大约是 10 本里的第 5 本。 0.89 0.60 0.55 人的排序上的最优 Claude 排序算出 再用人的排序打分 交易台结果
图 4. 0.89、0.60、0.55 三根用的是同一套人的排序。来源:Anthropic Project Swap,2026-09-24。

另外两个数不要和这三根比倍数。在 Claude 自己的排序上,「狠」比「亲社会」大约高 0.02。把代理从 Haiku 换成 Opus,人在自己的列表上移动 0.12,从 Sonnet 换成 Opus 移动 0.08。0.02 的尺子是 Claude 的排序,0.12 的尺子是人的列表。短一点的说法「模型比指令有效 6 倍」把两把尺子接在了一起,这里拆开。

这份排序也是一条会过期的记录。它在开场聊天里写定,然后整场交易都拿它当主人的意思。0.89 到 0.60 的那段,出在记录写下来的时候,不出在后来的砍价。

8三个检查

下面三条是按这些实验能直接做的检查。论文没有给出产品方案。

权限、依赖或工具合同变了之后,废掉旧分,用当前条件重跑将要上线的那一版。只刷新归档、不重跑当前运行位,原测试集可以变绿,新拼出来的情况仍会漏。

没有当前仍通过的版本时,停止运行。失败的现任不继续留在运行位。下一轮编辑从最初那份正确程序,或从当前仍通过的回退开始。Zhang 等人的比较里,从失败现任接着改,恢复更差,幅度看编辑器。

技能写进任务目录的进度、开场写下的偏好排序,都不能单独当作现在的用户同意。同意只认原始请求里写明的那一部分。APEX 的提示词防御把攻击从 84.3% 压到 59.1%,同时把 72 个正常任务的通过率从 86.7% 打到 56.3%。检查要加在记录的使用处,并且单独看正常任务,不能只看攻击率下降。

9出处和没做的

预印本没有同行评审。数字来自 2026-10-05 抓到的 arXiv HTML 或 Anthropic 原文。

  • Safety Must Survive Self-Improvement,Yunbei Zhang 等,arXiv:2610.01073,2026-10-01。22/48、刷新、keep-after-rejection、最初版本、43% 部署节省。
  • Chaining Skills to Hijack LLM Agents,Tian Dong 等,arXiv:2610.01564,2026-10-01。512/690,以及 GPT-5.4 上的链、单技能和提示词防御。
  • Project Swap,Anthropic,2026-09-24。0.89、0.60、0.55、85%,以及 0.02 与 0.12 的不同基准。
  • ActiveSaddler,Sungho Park 等,arXiv:2610.00906。GAIA2 +4.4 pp,Terminal-Bench 2.0 +7.5 pp。
  • Rep2Skill,Kaixing Zhang 等,arXiv:2609.39149,2026-09-30。ALFWorld 52.24% / 69.90%,+4.98 / +7.77 pp。
  • RPG,Yen-Jen Wang 等,arXiv:2610.02204。仿真 28.6% → 95.0%(22 个任务);物理试验 30 次。
  • Mímir,Yimeng Liu 等,arXiv:2610.02038。灌溉量约少 51%。

没做的:没有跑他们的测试台;独立拼出的测试具体怎么拼,摘录里没有展开;43% 没有拆成他们的成本公式;编辑器模型名字摘要里没有,不写;Reddit 和 X 没有登录态,不收;ACL / NeurIPS / ICML 这几天没有新的 agent 录用条目进入这篇论证,不列。

谱系在 递归自改进前世今生。增量落在哪一层,在 冻底座、改脚手架。这两篇不在这里重写。