FRONTIER · 2026-10-27 · 规定调用

同一 90 例上，SQL 和 Codex 比每个模型最强手写流程高 14 至 24 个点

一篇预印本把微服务根因分析放进同一 90 例。三个平均规定调用为 0 的 harness，五个把调查写进 SOP、角色投票或程序筛候选的已发表 Agent。附录 B：SQL agent 和 Codex 在跑过的每个中档模型上，比该模型最强已发表 Agent 高 14 至 24 个点。分母 90 例，成对自助 95%。规定调用占比与此同向，原文未做消融。单次调用在 Luna 上，原文正文写高 5.9 个点，表 5 相减是 6.0，原文写不显著。

114 至 24 个点

2026 年 10 月 26 日，arXiv 收到 Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents（arXiv:2610.35767v1，cs.AI，作者 Tingzhu Bi、Xun Zhang、Jinglin Li、Ping Wang、Meng Ma，单位署北京大学、北京邮电大学）。预印本，未经同行评审。本轮读的是 HTML 全文和 PDF。

原文把工作分成 RCA 方法、底下的模型、通用 harness。已发表的 RCA Agent 各用各的数据、各比各的基线。这篇把简单 harness、已发表 LLM Agent、非 LLM 方法放进同一 90 例。后面表 3 的三层按这个分，和原文引言那三条不完全同一套名字。

这篇只论证一个判断。判断是我的，依据是论文附录 B 和表 4、表 5。RCAtlas 核心集 90 例。SQL agent 和 Codex 在跑过的每个中档模型上，比该模型最强的已发表 RCA Agent 高 14 至 24 个点（90 例成对自助，名义 95%）。Luna 上 SQL 68.5%、Codex 68.9%，对 FoA 54.4%；Haiku 上 SQL 71.1%，对 FoA 46.7%，Codex 没跑；Flash 上 SQL 78.9%、Codex 85.6%，对 RCA-Agent 63.3%。Luna 和 Sol 上 SQL、Codex 是三次平均；表 5 的手写流程没有写三次。规定调用占比与此同向。原文写，这个比例量的是调查被写死了多少，没有把规定从某一个 Agent 上拆掉再测。单次调用（one-shot）在 Luna 上，原文正文写高 5.9 个点，表 5 的 60.4 减 54.4 是 6.0，原文写不显著。表 3 的家族区间 65–77% 对 16–53% 是三层的层，Codex 缺 Haiku、mABC 缺 DeepSeek，不当另一条主判断。

指标是 PR@1：90 例里，第一条答案是根因实体的比例。数据集标注粒度不同，答案会先映射到标注层级再比。RR 按原文公式给名次加权，辅线。随机排序的期望 PR@1 是 5.5%。

290 例从哪来

八个公开数据集合计放出 2,359 例。作者筛了 542 例，348 例通过八条排除规则。最常见的剔除：故障前窗口不干净 69 例，遥测里找不到故障证据 56 例，数据不完整 38 例，故障落在窗口后段 37 例。规则可重叠。从 348 例里再抽 90 例核心集：先保证每个场景有下限，再按故障类、根因层级、数据种类和遥测体量散开。23 个场景、十个故障类。根因是服务 59、pod 20、节点 11。单例遥测行数 37k 到 5.6M。按同一套映射，从清单里均匀抽一个实体命中的概率中位数 3.45%。

每个方法拿到同一份材料：告警时段、故障前时段、候选清单、两边的遥测。返回根因实体的有序列表，计前五条。一次生成参数除 Setting 3 的推理力度外不另设。每例一小时，没有答案记零。改方法的规则：跑不起来或实现有错才动，不加能力。

3谁决定看什么

三个简单 harness 都不规定模型调用。one-shot：程序按规则打一包证据，模型一次作答、没有工具。SQL agent：对着原始文件用 DuckDB 写查询，最多 100 次调用，按 OpenRCA 2.0 参考 Agent 的路子。Codex：在案例目录里跑 Codex CLI，模型自己写 shell 和 Python，六条规则（只读本目录、无网络无安装、不改数据、不认源数据集、必须写最终报告、最多一小时）。

五个已发表 Agent。FoA 按内置 SOP 走。RCAgent 带专家子 Agent。RCA-Agent 的控制器不碰数据，执行器写代码。DecompRCA 程序先筛最多 15 个候选，模型只做一次重排。mABC 角色投票，从程序算出的告警沿调用链往下走。FoA、RCAgent、DecompRCA 没有发布代码，作者按论文重写；DecompRCA 在 RCAEval RE1 上对上了原文数字。RCA-Agent 和 mABC 用发布代码，改时区、补缺失模块。

非 LLM：NSigma、BARO、CIRCA、RCD、TORAI 来自 RCAEval；FaultInsight 用作者代码；SimpleRCA 按描述重写。NSigma 的 PR@1 是 38.9%，三层里非 LLM 最高。NSigma 在 pod 层（20 例）55.0%，服务层（59 例）33.9%。原文正文写成全文唯一在 pod 上更高；同一张表 3 里 TORAI 也是 pod 更高（40.0 对 35.6）。原文把 NSigma 的 pod 优势解释为资源故障出现在肇事者自己的指标上，没有另做检验。

论文表 3 · 90 例 PR@1（%） LLM 方法按 Luna、Flash、Haiku 平均。Codex 缺 Haiku，mABC 缺 DeepSeek。柱从 y=480、x=70 起，每点 4.4 像素。 0 30 60 90 77.2 Codex 72.8 SQL 65.3 一次 53.3 FoA 49.3 RCAg 43.3 RCA-A 28.5 Decomp 15.6 mABC 38.9 NSigma 5.5 随机
图 1. 论文表 3 的 PR@1。绿：平均规定调用为 0；蓝：已发表 RCA Agent；橙：非 LLM 最高的 NSigma；红：随机。横轴 RCAg 是 RCAgent，RCA-A 是 RCA-Agent，一次是 one-shot。mABC 的 15.6 来自两个模型的残缺运行（47 和 85 例作答）。77.2 和 15.6 的分母模型数与 65.3、53.3 不同，不要直接减。

表 3 还写：最弱的简单 harness（one-shot 65.3%）仍比最强已发表 Agent（FoA 53.3%）高 12 个点。这两格都是三个中档模型平均，和标题里的 14 至 24 不是同一条对比。从服务层到 pod 层，Codex 掉 9 个点，FoA 和 RCAgent 掉 31 至 38 个点。

4inventory 停了，流程停在 cart

论文跟了一例：RCA-100 的 rca100-main-0104。inventory 服务选不到 pod，cart 打过去被拒。根因自己不报错：请求数塌掉。cart 的错误率从 1.7% 升到 32.5%，日志写 Connection refused (inventory:9090)。下面四条轨迹都用 Luna。

同一例 · 谁读到拒连，谁停在 cart 论文图 4，Luna。绿框排到 inventory，橙框排到 cart。时间含网络等待。 SQL agent 31 条查询 22 次模型调用 107 秒 日志里 1,291 条 cart 被 inventory 拒 inventory 请求 1,450/分 → 109 （故障后前 30 秒）→ 0 inventory ✓ Codex 7 条命令 8 次模型调用 57 秒 自己写对比代码 cart 错误率 0.017 → 0.325 01:59:23 起拒连 inventory ✓ FoA 4 步 · 11 次调用 51 秒 程序选定 SOP 「microservice incident」 匹配到的流程 没有读日志这一步 cart ✗ mABC 26 步 · 32 次调用 631 秒 从告警沿调用链 02:03 只有 cart 还在接请求 inventory 在三跳外 接口层没被比较 cart ✗
图 2. 论文图 4 的四条轨迹。one-shot 的证据包里，cart 的拒连模板从故障前 43 行涨到故障中 609 行，三次都把 inventory 排第一。NSigma 给上升的指标打高分，inventory 的请求数大跌，在 373 列里排倒数第二。

FoA 原文用告警里的故障类型选 SOP。这篇只给异常时段，故障类型会泄答。作者写了 12 份 SOP，四份含读日志，这一例一份都没匹配上。Luna 在 90 例里有 69 例匹配到那份不读日志的通用 SOP。

这是机制说明，不是 90 例的另一条主结果。规定调用比例把「程序决定看什么」从这一例扩到全部 90 例。原文写：它量的是调查被写死了多少，没有做拆掉规定之后准确率是否回升的消融。

5规定调用的比例

一条模型调用算规定，当程序在固定位置发出它，不论模型想不想要。三个中档模型、有轨迹的全部 90 例，先按例平均，再按模型平均。Codex 缺 Haiku。

方法 每例调用 规定调用比例 固定阶段 表 3 的 PR@1
Codex8.50.00（0.00–0.00）077.2
SQL agent26.80.00（0.00–0.08）172.8
One-shot1.00.00065.3
FoA36.40.51（0.46–0.55）853.3
RCAgent35.10.35（0.05–0.81）449.3
RCA-Agent50.30.29（0.06–0.33）443.3
mABC41.2≥0.10315.6
DecompRCA1.01.00228.5

表内调用数、比例来自论文表 6，PR@1 来自表 3，分母口径不同，只并排、不算倍数。Codex 一行的 8.5 与表 8 的 Luna 单模型值相同；表 8 第一遍里 Flash 上 Codex 是 34.0 次，两个模型平均应约 21，原文未说明表 6 这一格怎么平均，已按原文抄录。one-shot 的那一次算主调用，因为模型拿到整件事；DecompRCA 的那一次算规定，因为模型只给程序筛剩的名单打分。程序筛出的最多 15 个候选里，根因只在 57.8% 的例子里（约 52/90）。mABC 的记录分不清角色，比例是下界。已发表 Agent 内部，规定得少的并不更准：RCA-Agent 比 FoA 规定得少，PR@1 更低。简单 harness 的平均规定比例都是 0.00；SQL agent 的每例范围到 0.08，固定阶段为 1，个别例有极少量规定调用。

调用次数本身分不开两家。SQL agent 每例 27 次调用，和多步已发表 Agent 的 35–50 同一量级。one-shot 和 DecompRCA 都是一次。

6辅线：档位、力度、成本

下面几句是原文第 6.4–6.6 节的其他发现，不当另一条主判断。按 Artificial Analysis Intelligence Index，简单 harness 在 Luna/Haiku 一档 60–71%，Flash/Sol/Astra 一档 74–87%。Luna 换到 Sol，至少一次做对的例子只多 2 至 7 个点，有的轮次做对、有的没有的例子从 32–36 掉到 7–8。Luna 上 Codex 三次分别是 62%、69%、76%。SQL agent 和 Codex 的第一遍上，推理力度从 medium 拉到 max 或 xhigh，PR@1 涨 2 至 4 个点，墙钟时间乘 1.5 到 4。附录 B 的图 8 把 one-shot 的 max 也算进去，时间乘 1.5 到 7，RR 变 −2 到 +7 个点。超过 NSigma 的 38.9% 才算能用；七次已发表 Agent 的跑次过了线（43–63%），Pareto 线上的每一次都是简单 harness。表 4 三次平均：Luna 加 Codex 68.9%。第 6.6 节用第一遍画 Pareto：Flash 加 Codex 85.6%、大约五分；Sol 加 SQL agent 45 秒、第一遍 85.6%（表 4 三次平均 84.1%）。最准的一次，Sol 在 xhigh 加 Codex，88.9%，大约 26 分、277 秒。表 8 是第一遍；表 3 至表 5 对 Luna、Sol 的 SQL 和 Codex 是三次平均。指数小数值本轮未在方法论页对上，排行榜整数位对得上。

7你的步骤有没有写死

读完要看的是自己的运行位。调查流程写成固定阶段、角色必须按序调用、SOP 匹配之后不能改读哪些文件：和这篇的已发表 Agent 同类。论文没有在你的线上测过。规定调用比例不估计线上差错率。

原文给的是同一 90 例、同一套遥测上的并列比较。SQL 和 Codex 在跑过的每个中档模型上高 14 至 24 个点。规定调用占比与此同向。原文没有只改「谁决定看什么」的受控，也没有把规定从某一个 Agent 上拆掉再测。one-shot 在打好的证据包上推理，读哪些序列仍由规则挑；Luna 上对 FoA，原文正文写高 5.9 个点，不显著。

下面是我的推断，论文没有做这步。编辑起点如果把「先定位、再修、再验证」写进控制流，还要看匹配不到的案例会不会永远读不到那类证据。技能记录里如果写了「按故障类型选 SOP」，这篇给的是：告警不带故障类型时，Luna 有 69/90 例走进不读日志的通用流程。领域知识原文没说没用；原文结论写，把它写进控制流、案例对不上时会伤。这篇没有证明规定调用造成了那 14 至 24 个点。

10-07 写过 harness 是模型外面那层程序。10-25 写过规格没写的名字测试仍要。这一篇补的是：同一 90 例上，SQL 和 Codex 比每个模型最强手写流程高 14 至 24 个点。

8这篇没测到的

  • 通用编码 harness 只测了 Codex。Claude Code 原文写可能不同。
  • 模型都是 2026 年的。许多规定流程当初对着更弱的模型写，排序能不能回到那些模型上，这篇没有测。
  • 预算没覆盖原文说的当前前沿模型Fable、Opus、Argon。
  • 三个已发表 Agent 是按论文重写的。尽管改动有清单，仍可能和原实现有差。规定调用比例没有做「拆掉规定」的消融。
  • 已发表 Agent 的评测设置和简单 harness 不对称。故障类型被拿掉，避免泄答；FoA 的 12 份 SOP 是作者按论文示例自写。mABC 是残缺运行（表 5 注：47 和 85 例作答），Luna 上 89 例里 42 例报原因未定。表 4 的 Luna、Sol 上 SQL/Codex 是三次平均，表 5 的已发表 Agent 是单次。附录 C.3：RCAgent 的专家额外读指标和追踪，mABC 的告警取入口服务请求数，都是作者改动。RCA-Agent 的执行器在两次尝试后丢掉超过 16,384 token 的输出，Luna 因此损失 16% 的执行步骤。
  • 案例研究只跟了一例。90 例上的主数字是 PR@1 和规定比例，不是这一例的轨迹。
  • 表 3 的家族平均分母不齐。Codex 缺 Haiku，mABC 缺 DeepSeek。标题用的是附录 B 的按模型对比。
  • one-shot 的证据包仍由规则挑选。只留变动过的指标序列。模型在这一包上推理，读哪些序列仍由规则挑。
  • ChatGPT 登录的 Codex 按 OpenRouter 标价逐次计价。超 272k 输入走长提示档。表 8 带星号的美元和表 3 的准确率不要当成同一遍跑次。
  • 核心集 90 例来自 348 例合格池。筛掉「找不到证据」的 56 例。下面是我的推断：统计方法更吃亏的那些故障可能已经少了。随机命中中位数 3.45% 是核心集上的数。筛选时用到 Claude Sonnet 5.5 做评审，Haiku 5.5 是被测模型之一，原文没讨论这条重叠。

9出处

数字来自预印本 HTML 与 PDF（arxiv.org/html/2610.35767v1，pdf，abs，2026-10-26，未经同行评审）。论文表 1–8、第 4–7 节、附录 A–C。export.arxiv.org 的 Atom 里 published 为 2026-10-26T17:12:02Z。案例清单与代码入口写在 ufile.io/5ww9iyfb（原文写约 11 GB 转换数据计划发布；该页写文件 30 天后过期）。Codex CLI 按原文引用 github.com/openai/codex。Artificial Analysis Intelligence Index 按原文引用 该页 Version 4.3.2，方法论页不含模型小数值，本轮只在排行榜整数位交叉对过。

OpenAI 新闻页本轮经 r.jina.ai 打开过，近几日条目包括学术合作（10-26）、GPT-6.1 Terra（10-26）、在线存储扩容（10-23）。据标题判断，没有带这一组分母的 RCA harness 对比，未写入数字。Anthropic 新闻页本轮打开过，10 月 26 日有 S-1，10 月 22 日有把 Agent Skills 捐给 Agentic AI Foundation，同样未写入数字。Hacker News 首页与 48 小时检索打开过，未作为数字来源。Product Hunt 当日页遇到验证码，未读列表。GitHub 搜索接口返回了 10-25 之后新建的仓库，没有带这一组分母的发布说明，未写入数字。X、Reddit 今日未覆盖：本机没有可用登录态。

谱系和增量层分别在 递归自改进前世今生 和 冻底座、改脚手架。这篇只加一条：同一 90 例上，SQL 和 Codex 比每个模型最强手写流程高 14 至 24 个点。