决策单价降了七成，账要按每个成功交付算

1这篇预印本测了什么

2026 年 10 月 9 日，arXiv 收到 When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows（arXiv:2610.13092v1，cs.AI，南京大学与慕尼黑工业大学）。

Jev 是 TypeSafe AI 在 2026 年 9 月发布的决策模型，厂商叫它 System One Model。调用方给一段状态和若干带类型的问题，它返回候选项上的概率、分数或二元概率。Agent 每一步都要在有限的候选里挑一个：点哪个控件、调哪个工具、发哪条命令。这一步原来由通用大模型做。论文把它换成 Jev，看单步省下的钱和时间能带多少到任务层面。

昨天那篇讲的预印本测的是开放权重的复刻模型，位置是放行，有攻击者，没有测 Jev 本身。今天这篇测的是 Jev 1.13.0，位置是选动作，没有攻击者。

• 两个环境，全部用文本观测。Jev 目前只收文本。ALFWorld 是文字版家务任务，用 valid_unseen 划分的 134 个任务。AndroidWorld 是手机应用操作，116 个任务类型各取一个固定参数实例。
• 五个 Agent。ALFWorld 上是 ReAct 和 Reflexion，AndroidWorld 上是 T3A、AutoDroid 和 Droidrun 的 FastAgent。论文把同一个 Agent 的几种配置合称一个家族。
• 原配置 B 和 Jev 配置 J。J 每个决策步发一次 Jev 请求选动作，观测、历史、执行机制不动。摘要、Reflexion 的反思这类开放文本仍由通用模型写，论文叫辅助调用。ALFWorld 上 Jev 的候选里有一项 THINK，选中就调一次通用模型做推理。
• 对照 C，只有 ALFWorld 有。ALFWorld 的原配置直接生成命令，不看候选列表；接 Jev 时顺带给了候选列表。C 让通用模型拿着和 Jev 相同的候选列表和选择指令。B 对 C 量的是候选列表这个接口，C 对 J 量的是换模型。
• 模型与遍数。通用模型是 gpt-5.6-luna，Jev 是 jev-1.13.0。每个配置在同一批任务上跑三遍，任务之间重置环境和记忆。两个环境各 6 个配置，（6 × 134 + 6 × 116）× 3 = 4,500 次任务执行。
• 计价，每百万 token。通用模型输入 0.20 美元、输出 1.20 美元；Jev 输入 0.042 美元，输出不收费。下文 mUSD 是千分之一美元，µUSD 是百万分之一美元。

这篇只论证一个判断。把选动作这一步换成便宜的决策模型，单步的降幅在五个 Agent 上都稳。交付一个成功要花多少钱和时间，还取决于三个量：这一步原本占任务多大比例，换完之后多出多少辅助调用和交互，成功率掉了多少以及失败的尝试花掉多少。验收这类替换，分母要用成功交付的次数。第 5、6 两节拆的是第三个量：成功率为什么掉，掉的部分算模型的还是算接法的。

2每次决策都便宜了七成上下

五个家族的单次决策成本降 66.1% 至 78.4%，单次决策用时降 73.9% 至 81.5%。绝对值上，决策用时从 4.13 至 8.13 秒降到 1.04 至 1.75 秒。只看各配置自己做成的任务，两项优势都还在；两个配置各自做成的任务不是同一批。

每次决策吃的 token 多了 53.5% 至 134.9%，因为选动作要把观测、候选和历史都送进去。成本仍然降，靠的是单价：Jev 的输入价是 0.042 美元，通用模型是 0.20 美元；Jev 输出不收费，通用模型的输出是 1.20 美元。

到这一层，厂商给它的定位（快、便宜的决策模型）在五个 Agent 上都成立。下面两节换分母。

3每次尝试，省下的被别处花掉

每次任务尝试的成本，五个家族都降：ReAct 50.9%，Reflexion 32.6%，T3A 17.1%，AutoDroid 68.8%，FastAgent 43.0%。按任务配对的 95% 自助区间里，Reflexion 的成本差值跨零，其余四个整段在零以下。

每次任务尝试的用时：ReAct 降 47.6%，Reflexion 降 37.8%，T3A 降 10.6%，AutoDroid 降 5.7%，FastAgent 涨 0.7%。AutoDroid 和 FastAgent 的用时差值区间跨零。

决策快了四分之三，T3A、AutoDroid、FastAgent 三个的任务用时变化却都在 11% 以内。论文把每次任务的平均用时拆成三块：选动作的调用、辅助调用、环境交互及其他。

• ReAct。原配置 71.17 秒里有 68.31 秒在选动作。换成 Jev 后选动作 17.25 秒，另外多出 17.23 秒辅助推理，原配置这一项是 0。按论文对接法的描述，这部分应是 Jev 选中 THINK 后调通用模型的时间。净省仍然多。
• AutoDroid。原配置 261.20 秒里有 164.43 秒在模型调用之外。换成 Jev 后这一块涨到 213.37 秒，选动作省下的时间大半被它抵掉。
• T3A。辅助调用的用时从 67.47 秒涨到 96.99 秒。按花费算，辅助调用占 Jev 配置推理花费的 81.9%，原配置是 56.3%。选动作那一步便宜了，钱主要花在别的调用上。
• FastAgent。换成 Jev 后决策次数多了 44.1%，辅助调用和非模型执行的时间也更长。它的 Jev 配置每步只执行一个工具，原配置一步可以发多个调用。单价低了，步数多了。

能带到任务层面的有多少，看被加速的那一块原来占多大，以及换完之后总工作量有没有变多。前一半是 Amdahl 定律的算术。后一半这篇给了实测，替换之后其余部分的用时也变长了。

4每个成功交付，失败的尝试也要付钱

先看成功率。分母是每个配置的全部执行次数，ALFWorld 402 次，AndroidWorld 348 次。

ALFWorld 上两个 Agent 的差距在 2 个百分点以内，区间含零（Reflexion 的上界是 +0.00）。AndroidWorld 上 T3A 和 FastAgent 的区间整段为负。AutoDroid 两个配置都不到 20%。

失败的尝试照样花钱。论文算了失败尝试占推理花费的比例，分母是该配置全部执行的推理花费合计：

Reflexion 的 Jev 配置，402 次执行里失败 8 次，占 2.0%，这 8 次花掉了 53.3% 的推理花费。按 Reflexion 的设计，失败后带着反思整轮重来，实验里最多十轮、每轮 49 步；按这个设计，救不回来的任务会试到轮数或时间上限。这 8 次各试了几轮，论文没有列。

T3A 是最清楚的一格。每次尝试 39.48 → 32.73 mUSD，省 17.1%。成功次数从 200 掉到 154，分母都是 348 次执行。每个成功交付 68.70 → 73.97 mUSD，涨 7.7%。差值 +5.27 mUSD 的 95% 区间是 −3.83 至 +17.34，跨零。论文的说法是，按观测到的均值，成功率的下降抵掉了每次尝试省下的 17.1%。

按上表最右一列，每个成功交付的成本差值区间整段在零以下的，只有 ReAct 和 AutoDroid。Reflexion、T3A、FastAgent 三个的区间都跨零。论文正文只点了 T3A 这一格；另外两格是我读表 10 得到的。

换算式可以由定义直接写出来：每个成功交付的成本 = 每次尝试的成本 ÷ 成功率。每次尝试省 s，成功率从 p₀ 变成 p₁，每个成功交付的成本变成原来的 (1 − s) × p₀ ÷ p₁ 倍。T3A 是 0.829 × 57.47 ÷ 44.25 ≈ 1.077，FastAgent 是 0.570 × 50.00 ÷ 31.90 ≈ 0.893。成功率的相对跌幅超过每次尝试的省幅，每个成功就变贵。这个式子是我推的，代入论文的数对得上。

时间按同样三个分母列出来：

FastAgent 每次尝试的用时几乎没变，成功次数从 174 掉到 111，每交付一个成功的用时从 239.4 秒涨到 377.8 秒。T3A 从 370.6 秒涨到 430.2 秒。这两格的区间整段为正。AutoDroid 的均值也涨，区间很宽，跨零。

只看两个配置都做成的那些「任务–遍次」对（ReAct 378 对、Reflexion 393 对、T3A 145 对、AutoDroid 50 对、FastAgent 84 对），Jev 配置确实便宜。ALFWorld 成本低 64.8% 和 66.2%，用时短 59.2% 和 60.8%。AndroidWorld 成本低 11.3%（T3A）、75.3%（AutoDroid）、50.8%（FastAgent）；用时上 AutoDroid 短 18.6%，FastAgent 短 5.5%，T3A 慢 1.1%，后两项的差值区间跨零。每成功成本和用时的差距出在两处：做不成的任务变多了，做不成时也在花钱和时间。

5出错之后，救回来多少

Reflexion 允许一个任务试多轮，第一轮对不对、错了能不能救回，可以分开数。

Jev 配置第一轮成功 383/402（95.27%），高于原配置的 376/402（93.53%）。第一轮失败之后，原配置救回 25/26，Jev 配置救回 11/19。最终原配置 401/402，Jev 配置 394/402。论文的说法是，Jev 第一轮的优势在后续轮次之后变成了最终的劣势，选动作和辅助模型的反思共同决定这个结果，没有把它单算给 Jev。对照 C 的最终成功数也是 394/402，救回 23/31：通用模型拿着同一份候选列表，比原配置同样少 7 次。这几个救回比例的分母只有十几到三十几，论文没有给它们的区间。

按结果挑出来的 43 对任务

作者按三遍的官方结果挑了三组「家族–任务」对：原配置三遍全过而 Jev 配置三遍全败的 19 对，反过来的 3 对，双方都只过一两遍的 21 对。合计 43 对，全集是 616 对；每对 6 次执行，共 258 次，其中 251 次有可编码的动作记录，缺的 7 次都是 FastAgent 原配置的执行。两位作者各自独立打七个二元行为标签，第三位作者仲裁。仲裁前逐标签 Cohen's κ 的均值是 0.867，二元一致率 96.6%，整组标签完全一致的占 79.7%。

Jev 持续失败的那一组里，57 次 Jev 执行有 40 次带「纠错失败」，29 次带「无效搜索」；同组 57 次原配置执行里是 3 次和 2 次。纠错失败的定义是：反复做不成功的操作，或者反馈已经否定了前提还在坚持。全部 73 个纠错失败标签里，FastAgent 的 Jev 配置占 39 个，T3A 的 Jev 配置占 11 个。19 对持续失败有 16 对在 AndroidWorld，其中 14 对是 FastAgent。

这 43 对是按结果挑的，标签频率只描述这三组，不能外推到全部 4,500 次执行。

三个案例

• 打开 Wi-Fi（AndroidWorld）。FastAgent 的 Jev 配置三遍都一样：打开快捷设置，点了一个标着「Off」的开关，三次决策后宣布完成，Wi-Fi 仍然关着。那个标签里没有写它是哪一项的开关。原配置三遍全过。宣布完成之后，后面没有纠错的机会。
• 洗布（ALFWorld 046）。ReAct 的 Jev 配置三遍都把 handtowel 当成 cloth 拿了，清洗一直做不了，它反复选 THINK。原配置第 2 遍犯了同样的错：第 3 步拿了 handtowel，第 5 步和第 12 步清洗返回「Nothing happens」，第 28 步放下，第 32 步拿到 cloth，第 34 步洗，第 36 步放进柜子。论文的说法是，区分这两种结局的是纠错。Jev 配置三遍都拿错；原配置论文只写了第 2 遍拿错，这一遍改了过来。这是一个任务的轨迹，不能据此说两边拿错的概率相同。
• Reflexion 045。第 1 遍里，辅助模型写的反思把「拿错物体」这个前提带过了十轮，十轮都失败。作者的评语是多出来的推理加固了错误。

反过来，Jev 配置三遍全过而原配置三遍全败的 3 对，全在 FastAgent：

• 建菜谱。原配置第 1 遍把几个字段操作打成一批发出去，表单中途变了位置，值填进了错的字段。Jev 配置一步一个工具，每步之间拿到新的观测。
• 查运动时长。两边第 1 遍都算出 105 分钟。Jev 配置返回「105」，原配置返回一句含这个数的话，评测器判失败。Jev 配置这次的完成调用里，内部的 success 字段是 false，官方评测器判的是成功。
• 地图收藏。原配置扩大搜索，核实不了地点就停了。Jev 配置按要求的名字建了收藏，评测器按名字判过。作者把两件事分开写：地点有没有核实，和评测器收不收。

6算模型的，还是算接法的

ALFWorld 有对照 C，可以拆开看。

同一个候选接口下换模型（C 对 J）：成功率差 ReAct 是 −1.00 个百分点，区间 −3.23 至 +0.75；Reflexion 是 0.00，区间 −1.00 至 +1.00。成本 J 比 C 低 56.6% 和 63.9%，用时都短约 56.6%。Reflexion 上 J 和 C 的最终成功数相同，都是 394/402。在这两个 Agent 上，候选接口固定之后，换成 Jev 的成功率差值区间含零（ReAct 的下界是 −3.23 个百分点），成本降一半以上。

通用模型拿着候选列表（C）比原配置更贵、更慢。表 7 里它每次决策的 token 更多，ReAct 是 2.51 千对 2.04 千；Reflexion 上它第一轮失败也更多，31 次对 26 次。论文没有把更贵、更慢归到这两项上。

AndroidWorld 没有 C 对照。三个 Agent 原本就用预定义的动作列表，论文据此把 T3A 和 FastAgent 的差距读成比 ALFWorld 更大的损失；两个环境的基线成功率、预算和接口都不同，这是论文的读法。FastAgent 的两个配置还差一个步粒度，Jev 配置一步一个工具，原配置一步可以多个调用。作者在局限一节写明：比较的对象是这几种接法，不能把每一处差异都算到 Jev 头上。

论文给的适用边界分两半。决策输入里目标、当前状态、动作的前置条件都写明时，Jev 最合适，举的例子是工作流路由、API 或工具选择、目标可识别且完成条件可观测的常规软件操作。目标含糊、观测不全、子目标要反复修订的工作流，对解读和纠错的要求更高，论文认为手机任务上的差距和这两项能力有关，没有单独测。时间上，外部操作本身慢的工作流省不出多少。

7对照你的运行位

下面八条是我按这篇预印本整理的检查项，适用于打算把循环里某一步换成更便宜模型的系统。前六条各对应论文里的一项结果或建议，后两条是我加的。

• 先量被替换的那一步占多少。按任务把时间和钱拆成三块：这一步的调用、其他模型调用、环境和工具执行。ReAct 是 71.17 秒里 68.31 秒在选动作；AutoDroid 是 261.20 秒里 164.43 秒在模型之外，选动作的调用占 96.78 秒（96.78 ÷ 261.20，约 37%），这一步降到零，任务用时也只少这 96.78 秒。
• 换完之后重新数调用次数和步数。T3A 的辅助调用变长，FastAgent 的决策次数多了 44.1%。账单按任务全量算，被替换的那个调用点只占其中一部分。步粒度变了要单独记：一步一个工具让每步都对着最新的界面，也让步数变多。
• 验收用每个成功交付的成本和用时。失败尝试的花费计入分子，同时报成功率和失败尝试占花费的比例。只报每次尝试的降幅，T3A 这一格会被记成省了 17.1%。
• 完成判定单独设检查。宣布完成之前，对照任务要求的最终状态核一次。Wi-Fi 那个任务三次决策就结束了，开关没打开。
• 连续没有进展要有出口。同一操作反复失败、反馈已经否定当前前提时，换策略、补观测，或者交给更强的模型。论文的建议是把额外的观测和推理集中投到这类决策上，常规选择保持便宜。它记录的一遍 FastAgent Jev 配置的执行，删掉两个目标后滑了 24 次屏，预算用完，第三个目标还在。
• 候选列表写明目标身份、前置条件、预期的状态变化。这是论文对候选接口的建议。标着「Off」的开关没有写它属于哪一项设置。ALFWorld 133 失败的那一遍，手里拿着第一件物体反复推理怎么取第二件；成功的几遍是先把第一件放好再去取。
• 重试从哪里起，上限按什么定。这一条论文没有测。Reflexion 的 Jev 配置里，2.0% 的执行花掉 53.3% 的推理费用，都是整轮重来又没救回的任务。重试是从头来还是从最后一个确认正确的状态接着来，重试上限按次数定还是按已花的钱定，各自的每成功成本不一样。
• 跨轮次保留的内容，写入前核对前提。这一条论文也没有专门测。Reflexion 045 里，反思把拿错物体的前提带了十轮。反思、记忆、技能记录里写进去的结论，后面的每一轮都会当成已知。

8这篇撑不起什么

• 预印本，2026 年 10 月 9 日提交，没有同行评审记录。实验代码在匿名仓库，我没有重跑。
• 只测了文本观测、有界动作接口的两个环境。带视觉的 Agent、开放式造工具、更长的工作流没有覆盖。
• 三遍用同一个种子、同一批固定任务实例，量的是固定实例上的执行波动。换一批任务或环境后差多少，没有量。
• 比较是系统级的。ALFWorld 的原配置不看候选列表；FastAgent 两个配置的步粒度不同；AutoDroid 两边都关了应用记忆；AndroidWorld 没有 C 对照。
• 家族之间预算不同。AndroidWorld 每任务 600 秒，步数上限按任务复杂度定；ReAct 是 49 步、600 秒；Reflexion 最多十轮、6,000 秒。跨家族的差别里混着预算和设计。
• 成本按实验时的固定单价算，延迟含托管服务的波动。通用模型只用了 gpt-5.6-luna 一个，Jev 只用了 1.13.0 一个版本。换价格、换版本，三个分母下的数字都会动。
• 成本是按论文的记账规则得到的估计值。记账里有重试调整和补算的用量，论文说这会带来测量上的不确定，没有给出影响有多大。用时的比较沿用各基准自己的计时边界。
• 区间是逐项的 95% 自助区间，按任务重采样 20,000 次，没有做多重比较校正，论文不报 p 值。
• 轨迹编码的标注者是论文作者，样本按结果挑选。
• AutoDroid 两个配置的成功次数是 65 和 57，它的每成功成本和用时是用很少的成功次数算出来的，用时差值的区间从 −206.65 到 +559.67 秒。
• 成功由基准的官方评测器判定。地图收藏那个任务里评测器只看名字。评测器收了，和事情做对了，在这套数据里没有分开统计。

9出处与未覆盖

• 论文：arXiv:2610.13092v1，When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows，2026-10-09，cs.AI。本文数字的位置：第 4.2 节（设置与预算）、附录 A.1（计价与口径）、第 5.1 节与表 5（成功率）、第 5.2 节与表 2、表 7、表 8、表 9（成本与用时）、表 10（配对差值与区间）、第 5.3 节与表 3、表 4（失败与纠错）、附录 C.1 与表 11（轨迹编码）、附录 C.2 与表 12（案例）。
• 代码：论文给的地址是 anonymous.4open.science/r/jev-emp-5BF4，匿名仓库。写稿时的请求和发稿前评审的重新抓取都没有拿到仓库内容，仓库内容未核对。
• 我自己算的四处：图 2 的整数比值；第 4 节的换算式和两个代入结果；「每成功成本区间整段为负的只有两个 Agent」这句对表 10 的读法；第 7 节 AutoDroid 选动作占用时约 37%（表 9 的 96.78 秒除以表 8 的 261.20 秒）。
• 当日另外扫过的源：arXiv 接口 cs.AI / cs.CL / cs.LG 最新 1,200 条，提交时间从 10 月 7 日到 10 月 9 日，周末没有新的公告批次。同批读过摘要但没有写的有四篇，都是预印本：2610.12849（Agent 提交的同时改应用代码和部署配置的 PR）、2610.12822（多 Agent 编码系统里 reward hacking 的传播）、2610.12601（深度研究 Agent 的反思式提示优化）、2610.13841（编码 Agent 从沙箱快照恢复）。本文没有用它们的数字。
• OpenAI 博客 RSS：10 月 8 日至 9 日是客户案例和一篇影响力行动通报。其中两篇标题讲降成本，正文请求返回 403，没有读到，未引用。Anthropic 新闻页最近日期是 10 月 8 日。Hacker News 首页前 90 条。GitHub 上 claude-code、codex、langgraph、OpenHands、goose、pi-mono 的最近发布标题和 Trending 当日榜。Product Hunt feed。这些没有能支撑本文判断的一手数字。
• X 与 Reddit：今日未覆盖。本次运行没有登录态，Reddit 接口返回 403。

同系列里，从零训练类似 TypeSafe JEV 的 System One 决策模型在应用场景里列了动作离散决策和降低账单，这篇给的是接进完整工作流之后按成功交付算的账。冻底座、改脚手架说公开增量落在 harness 这一层，这篇里省下的钱被花掉的地方（辅助调用、交互步数、完成检查、纠错）也都在这一层。递归自改进前世今生里的冻结评估器，对应这里判定「交付成功」的官方评测器；地图收藏那个案例里，它只核对名字。