FRONTIER · 2026-10-31 · 前缀可执行

同一 200 例上，未核计划终局 0.94，整条可执行 0.47

一篇预印本在 BFCL v3 的 200 条分层样本上，用 GPT-5.4（high）跑四种工具 Agent。把未核过的计划写进执行：终局成功 0.94，整条工具轨迹可执行 0.47。执行前核过计划的同一套执行器：终局仍是 0.94，整条可执行 0.94。Llama-4 Maverick 上，148 次终局成功里 138 次先走过无效前缀。

10.94 和 0.47

2026 年 10 月 29 日，arXiv 收到 Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success（arXiv:2610.40444v1，cs.AI，作者 Amir H. Rezaeian、Weiyi Sun、Yassine Benajiba、Dan Roth，单位署 Oracle AI）。预印本，未经同行评审。本轮读的是 HTML 全文。GitHub 上有 amirrezaeian/prefix-executability 标成参考实现，本轮没有打开运行产物。

工具评测通常只看终局成功。论文量另一件事：发出去的每一步工具调用，在 schema、前置条件和数据依赖下能不能执行。第一条失败的深度叫 FED。整条都可执行叫 TER。走过至少一次无效前缀之后仍成功的比例，叫 RR。

这篇只论证一个判断。判断是我的，依据是论文第 3.1 节和表 2。BFCL v3 多层对话、分层抽 200 例、GPT-5.4（reasoning.effort=high）：Plan-Conditioned ReAct 终局成功 0.94（区间 0.90 至 0.96），TER 0.47（0.40 至 0.54）。同一套执行器前面加 Dual-Loop 计划核验：终局 0.94（0.90 至 0.97），TER 0.94（0.91 至 0.97）。区间是 10,000 次任务级百分位 bootstrap。标题不写 ToolSandbox：同一模型上 Plan-Conditioned 终局 0.69、TER 0.48，终局数字和 0.94 不在同一张表的同一列。也不写 τ3-bench：那里 Dual-Loop 没有同样的整条优势。

论文附录 C.2 给了一条联系人删除。第一步用电话号码去删，被拒，因为标识符对不上。第二步按号码查出存储的标识符。第三步用查到的标识符删掉。终局可以过。FED 钉在第一步。

2同一 200 例、四种做法

BFCL v3 四个多层类别各抽 50 例：multi_turn_base、multi_turn_miss_func、multi_turn_miss_param、multi_turn_long_context。任务 ID 在模型和方法之间共用。计分器是确定性的，不用 LLM 评审：查暴露的工具、参数绑定、引用是否还在、前置条件、基准接不接受这次状态转移。第一次拒绝钉住 FED，前缀回放停，整条轨迹留下看终局和恢复。

四种做法是嵌套的梯子。ReAct：边想边调，没有显式计划核验。Prompt Planning：先写计划，执行时不强制。Plan-Conditioned ReAct：把写出的计划当作执行时的控制信号。Dual-Loop：同一套计划条件执行器，前面加一轮执行前核验。规划器和核验器的消息算方法成本，不进工具步数 Ti。ReAct 风格的环境循环上限 Kexec=10。Dual-Loop 另有执行前预算 Kval=5。

三个模型条件：GPT-5.4（reasoning.effort=high）、GPT-4.1、Llama-4-Maverick-Instruct。GPT-4.1 和 Llama 温度 0。所有规划、核验、执行调用的回复上限 4,000 token。

做法 TER AUC-PEC RR 分母 RR 终局成功
ReAct0.69 [0.63, 0.76]0.83 [0.79, 0.87]610.00 [0.00, 0.06]0.61 [0.55, 0.68]
Prompt Planning0.78 [0.72, 0.83]0.85 [0.81, 0.89]440.00 [0.00, 0.08]0.78 [0.72, 0.83]
Plan-Cond. ReAct0.47 [0.40, 0.54]0.54 [0.48, 0.60]1060.88 [0.80, 0.93]0.94 [0.90, 0.96]
Dual-Loop0.94 [0.91, 0.97]0.96 [0.93, 0.98]120.00 [0.00, 0.24]0.94 [0.90, 0.97]

表是 BFCL、GPT-5.4（high），分母 200。数据来自论文表 2。RR 分母是走过至少一次无效前缀的条数，论文写作 RR-Eligible，等于 N(1−TER)：Plan-Cond. 200×(1−0.47)=106，Dual-Loop 200×(1−0.94)=12。RR 区间用 Wilson，其余用任务级 bootstrap。Prompt Planning 的 TER 和终局都是 0.78。计划一旦当成执行控制信号，终局升到 0.94，TER 掉到 0.47。

同一 200 例：终局成功，和整条还能否执行 BFCL v3，GPT-5.4（high）。柱高按 3.5 像素 / 0.01。数据来自论文表 2。 终局成功 TER 1.00 0.50 0 0.61 0.69 ReAct 0.78 0.78 Prompt 0.94 0.47 Plan-Cond. 0.94 0.94 Dual-Loop 虚线标 0.50。Plan-Cond. 终局最高档，TER 掉到虚线以下。柱高按 3.5 像素 / 0.01 画，作图参数是我的。 Prompt 的两根柱一样高。Dual-Loop 两根也一样高。
图 1. BFCL v3 200 例、GPT-5.4（high）：四种做法的终局成功和 TER。数据来自论文表 2。柱高按 3.5 像素 / 0.01。

3终局从哪来

论文把终局成功拆成两项：整条可执行且成功，加上走过无效前缀之后仍成功。Llama-4 Maverick、Plan-Conditioned ReAct、同一 200 例把式子填满。整条可执行 10 条，10 条都成功。走过无效前缀 190 条，其中 138 条仍成功。TER = 10/200 = 0.05。RR = 138/190 ≈ 0.7263，表 2 写作 0.73（0.66 至 0.79）。终局 = (10+138)/200 = 0.74。成功的 148 条里，138/148 = 93.2% 先走过无效前缀。

表 2 同一行：TER 0.05（0.02 至 0.08），AUC-PEC 0.15（0.12 至 0.18），平均 FED 1.96（1.78 至 2.13）。环境循环上限 10 步，第一次失败平均落在第 2 步附近。

200 例里，终局 0.74 是怎么凑出来的 Llama-4 Maverick，Plan-Conditioned ReAct，BFCL。格子按条数：3.6 像素 / 条。 10 整条 可执行 且成功 138 先无效，后成功 占成功 138/148 = 93.2% 52 无效且失败 10 + 138 + 52 = 200。整条可执行且失败的是 0 条。RR = 138/190。格子宽度按条数，高度不表示概率。 数字来自论文第 3.1 节「Success after a prefix failure」。93.2% 是原文 138/148 的写法。
图 2. Llama-4 Maverick、Plan-Conditioned ReAct、BFCL 200 例：终局成功的 148 条里 138 条先走过无效前缀。格子宽度按条数，3.6 像素 / 条。

GPT-5.4 上同一做法：106 条走过无效前缀，RR 0.88（0.80 至 0.93）。ReAct 走过 61 条，RR 0.00（0.00 至 0.06）。未核计划把终局抬上去的那截，主要来自修回来。

4Dual-Loop 抬的是整条

Dual-Loop 是论文用来压协议的探针。论文没有把它写成主架构主张。规划器给出结构化计划，核验器查工具是否存在、schema、前置条件、变量绑定；失败就按反馈改计划，通过之后才交给执行器。环境只看见执行器发出的调用。

BFCL 上 Dual-Loop 相对 Plan-Cond. 的 TER：GPT-5.4 0.94 对 0.47，GPT-4.1 0.96 对 0.35（差 0.61），Llama-4 0.88 对 0.05（差 0.83）。ToolSandbox 上 GPT-4.1 差 0.61，Llama-4 差 0.71。第 3.2 节 PEC@4：Plan-Cond. 三个模型 0.42、0.33、0.05，Dual-Loop 0.82、0.82、0.78。分母仍是 200，含没走到第 4 步就结束的轨迹。

Airline/Retail 没有同样的整条优势。τ3-bench 文本半双工、记录版本 v1.0.1，Airline 50 例加 Retail 114 例，共 164，每种模型–方法一条。GPT-5.4：Plan-Cond. 终局点估计最高 0.51，ReAct 的 TER/AUC-PEC 最高，0.95 / 0.95。GPT-4.1：Prompt Planning 终局 0.51，ReAct TER/AUC-PEC 0.84 / 0.91。Llama-4 三种做法终局都是 0.18，TER 从 0.52 到 0.60。论文写这是点估计排序，没有配成对显著性。一种解释是 BFCL 强调事先写好的组合，τ3 里用户反馈和状态会让提前写的计划过期。论文标明这是可检验的解释。因果机制没有识别出来。

核验器敏感性：固定初始计划和 GPT-5.4-high 的规划器/执行器，改核验模型和预算。TER 和 AUC-PEC 的成对 95% 区间都含 0。GPT-5.4 核验器 Kval=5 相对成对的 Plan-Cond. 重跑，TER +0.006（−0.018 至 0.030），多 40.7k token、176.9 秒。

5你的运行位有没有未核计划

读完要看的是：自己的工具 Agent 排行、回归、上线门槛，有没有只留下终局成功。BFCL 200 例、GPT-5.4 上，未核计划终局 0.94，整条可执行 0.47。同一终局数字，核过计划的 TER 是 0.94。

技能记录如果只留「先写计划再执行，终局更高」，没有记下计划有没有进执行、有没有执行前核验、无效前缀出现在第几步、终局是不是修回来的，和这篇测到的缝是同一条。

下面是我的推断，论文没有在你的线上测过。支付、删除、改权限这类调用，第一次拒绝已经改了外部状态。FED 落在第 2 步，后面修回来的终局，账上已经付过一次。评测如果只回放终态，会把 Plan-Cond. 排到 Dual-Loop 前面。运行位如果在每一步调用前查 schema 和对象是否还在，查的是这篇的前缀谓词。

10-14 写过复现成功撑不起联合验收。10-15 写过隐藏测试判修好之后，报告仍差一截。10-28 写过第一阶段通过率高于整条终检。那三篇动的是测试池、报告、阶段。这篇动的是工具前缀还能不能执行。

6这篇没测到的

  • 标题的 0.94 / 0.47 是 BFCL 200 例、GPT-5.4（high）、Plan-Cond. 对 Dual-Loop。ToolSandbox 同一模型 Plan-Cond. 终局 0.69、TER 0.48，终局和 TER 不要和 0.94 / 0.47 并进同一个范围。τ3 Airline/Retail 上 Dual-Loop 没有同样的整条优势。
  • 200 是分层样本。BFCL 全量没有评。四个多层类别各 50。ToolSandbox 200 是受支持的本地工具场景，贪心多标签分层。任务级区间不覆盖同一任务反复跑的种子。主表给的是边际区间。
  • 可执行不等于语义正确、安全、隐私。计分器要显式 schema、前置条件和基准能看见的状态。部分可观察的网页或 GUI 需要另估状态。论文没有配约束解码基线。
  • Dual-Loop 把核验/改写和多出来的推理绑在一起。敏感性实验改了核验容量和预算，接受包装同时改了执行器指导。BFCL/ToolSandbox 只有合计墙钟，约 72 小时、16 个异步 API worker；分方法的 token 账在 τ3 审计里。
  • 三种 LLM 条件、四种做法、每任务一条。三个基准合计 564 个任务 × 每种模型–方法条件，6,768 条轨迹。GPT-5.4 是 hosted API，reasoning.effort=high，本机编排 16 vCPU / 64 GB，没有本地 GPU。

7出处

数字来自预印本 HTML（arxiv.org/html/2610.40444，pdf，abs，2026-10-29，未经同行评审）。论文摘要、第 2.5–2.7 节、第 3.1–3.3 节、第 4 节、局限、表 2、图 1、附录 C.2、D、E、表 F.1–F.3、表 G.1。HTML 页眉写 arXiv:2610.40444v1 [cs.AI] 29 Oct 2026。图 1 柱高按 3.5 像素 / 0.01 画，作图参数是我的。图 2 格子宽度按条数，3.6 像素 / 条。

OpenAI 新闻页本轮经 r.jina.ai 打开过，10 月 30 日有网站训练偏好、社区安全报告，10 月 29 日有更新 Model Spec、检测前沿模型偏离对齐；专题页直接请求返回 403，未写入数字。Anthropic 新闻页本轮打开过，页上仍挂 Opus 5.5（9-22）、S-1（10-26）、用药开发进展（10-27），未写入数字。Hacker News 首页本轮打开过，未作为本篇数字来源。Product Hunt 当日页返回验证码，未读条目。GitHub 搜索本轮打开过，看到参考实现仓库，未跑产物。X、Reddit 今日未覆盖：本机没有可用登录态。

谱系和增量层分别在 递归自改进前世今生 和 冻底座、改脚手架。这篇只加一条：同一 200 例上，未核计划终局 0.94，整条可执行 0.47。