ScienceBoard 上，查过状态的误报 5.4%，生成脚本 21.7%

15.4 和 21.7

2026 年 10 月 29 日，arXiv 收到 VeriCUA: Verification as Agentic Exploration for Computer-Using Agents（arXiv:2610.40578v1，cs.AI，作者 Qiushi Sun、Da Yu、Alexander Knop、Amer Sinha、Lingpeng Kong、Ben Kao、Ravi Kumar、Pritish Kamath；单位署 Google 与香港大学）。预印本，未经同行评审。本轮读的是 HTML 全文。文内没有给出 VeriCUA 自己的代码仓库。

计算机使用 Agent 跑完一条，常见核验是：把截图或轨迹交给视觉语言模型打一次分，或者按任务生成一段检查脚本对着机器跑一次。两条路都只看见当时给到的观察，或脚本猜到的状态位置。编辑没保存、操作失败没有提示、Agent 自己报完成，都可能被写成成功。

附录 D.1 给了一条 AndroidWorld。指令要恰好一段新视频。媒体库读到开局之后多了三行，目录里三份文件，间隔一分钟。四次核验里三次判失败，一次弃权。Agent 报完成。单次评审和生成脚本都判成功。

2三个在线环境

在线核验发生在回合结束之后，对着还在的机器状态。AndroidWorld 跑模拟器，OSWorld 跑虚拟机，ScienceBoard 跑科学桌面。每条由该基准自己的脚手架执行。金标是各基准官方评测器。OSWorld 执行成功率 44.3%，ScienceBoard 23.7%。AndroidWorld 116 例写的是 M3A Agents，表 B.1 没有给执行成功率。

对照三条。视觉语言模型评审：一次调用，看给到的观察，出裁决或分数。自动生成核验器：每个任务生成一段评测脚本，对机器跑一次，二元裁决。VeriCUA：先看应用上下文，写出任务量表，再对还没落实的条目选界面检查或代码检查，按证据规则汇总。后两条只在在线设置里比；离线设置另有 CUAJudge 和 OS-Themis，不进标题。

主表 backbone 是 gemini-3-flash-preview。backbone 对照另跑 gemini-3.1-pro-preview，那一列不和 5.4 / 21.7 比。

表是论文表 1 加附录表 B.1 的例数。准确率、假阳性率是百分数，原文没给百分号。两条对照每条都出裁决，已决定准确率等于总准确率。VeriCUA 在 ScienceBoard 上已决定 70%，已决定准确率 91.6，总准确率 86.4：弃权记失败，分母仍是 169。

OSWorld 和 ScienceBoard 上，生成脚本的召回更高：OSWorld 78.1 对 VeriCUA 71.3，ScienceBoard 72.5 对 60.0。VeriCUA 的精确率和准确率更高。ScienceBoard 精确率 77.4 对 50.9。论文写：不先看上下文就构造的脚本，会查到错误的状态位置。

3弃权不当成功

两条对照每条都给裁决。VeriCUA 在发现落不定任务、或者已经决定的几次核验互相打架时弃权。附录 B.4：弃权在一致率、精确率、召回、F1、假阳性率里都记成失败。已决定准确率另报。

ScienceBoard 已决定 70%，已决定准确率 91.6，总准确率 86.4。少掉的那截是弃权进了失败。假阳性率 5.4 不含把不确定写成成功。论文写这套口径偏向保守挑成功轨迹，用在数据筛选和奖励赋值。

第 5.3 节另写：三个在线环境里的虚假完成报告，AndroidWorld 用了一个子集，VeriCUA 拒掉约 80%。原文是 about 80%，没有条数分母，不进标题。差距在 ScienceBoard 最大：生成脚本很少拒掉错误的完成声明。

4只看屏幕，决定率 45%

附录表 C.1 是在线 AndroidWorld 的动作空间消融，对应正文图 3。只保留图形界面动作：决定率 45%，召回 57.6，准确率 77.0，假阳性 3/41，已决定准确率 87.9%。默认混合空间加上代码读状态：决定率 82%，召回 87.9，准确率 90.5，假阳性仍是 3/41，已决定准确率 95.1%。

论文写配对分析里，代码通道多出来的每条正确决定，都有文件或应用存储读取撑着。界面观察落不定的条目，存下来的状态能定。假阳性条数没有跟着涨。

离线核验是辅线。记录轨迹上 VeriCUA 仍高于对照，OSReward-Hard 284 条人工标签：准确率 70.4，对 OS-Themis 65.7、CUAJudge 63.4、TRM 57.4。WebArena 715 条里，记录解决不了任务时走初始判断回退，原文写发生在 23% 的轨迹。那一列没有机器可探，不支撑标题里的 5.4。

5你的核验位查不查状态

读完要看的是：自己的计算机使用 Agent、浏览器 Agent、桌面 Agent，完成核验是一次看截图、一次生成脚本，还是回合结束后读文件、数据库、设置。ScienceBoard 169 例上，先看上下文再探状态的假阳性率 5.4，生成脚本 21.7。

技能记录如果只留「加一个完成评审」或「给任务写一段 checker」，没有记下评审看见的是不是回合后的持久状态、脚本生成前有没有看应用上下文、不确定时是弃权还是写成成功，和这篇测到的缝是同一条。

下面是我的推断，论文没有在你的线上测过。数据筛选和奖励赋值如果把 Agent 自报完成、或单次看图的成功，直接写进正例，假阳性会进训练集。支付、发邮件、改配置这类动作，界面上看起来做完、存储里没有对应行，和附录 D.1 的三段视频是同一类证据。运行位如果在回合结束后读权威存储，读的是这篇的持久证据。

10-14 写过复现成功撑不起联合验收。10-28 写过第一阶段通过率高于整条终检。10-31 写过未核计划终局 0.94、整条可执行 0.47。那三篇动的是测试池、阶段、工具前缀。这篇动的是完成声明有没有对着机器状态查过。

6这篇没测到的

• 标题的 5.4 / 21.7 是 ScienceBoard 在线、169 例、flash backbone、弃权记失败。AndroidWorld 7.7 / 16.9，OSWorld 13.9 / 25.9，不要和 5.4 / 21.7 并进同一个范围。表 1 假阳性率没有整数分母。表 C.1 的 3/41 只挂 AndroidWorld 动作消融。
• 虚假完成「约 80%」没有条数。第 5.3 节写 about 80%，AndroidWorld 用子集，图 5b。不和 5.4 比大小。
• 生成脚本在 OSWorld、ScienceBoard 上召回更高。总准确率和假阳性率是另一列。挑成功轨迹和追全成功，口径不同。
• 代价按数量级写。附录 E：一次核验对每条轨迹发出数十次工具调用和模型调用，比单次评审高一个数量级。表 C.9：在线第一套 VeriCUA 39.2K token、97 秒，生成脚本 16.2K、60 秒。离线 OSReward 上 VeriCUA 345K–378K，三个单次评审合计 33K–35K。论文写更适合筛选和奖励赋值，不适合交互使用。
• 金标也会错。附录 C.6：814 条记录轨迹里，已决定的 VeriCUA 和金标打架 81 条；换一家模型的盲审支持 VeriCUA 51 条、反对 20、不确定 10，不确定留在分母，51/81 ≈ 63%。在线 OSWorld：VeriCUA 的 28 次假阳性里，约 18 次是官方评测器把失败标错。63% 和约 18 不进标题。
• 只读。论文写 VeriCUA 从不写入被核验的环境。不能回放到不能插桩的机器上。随机核验要把多次抽样的离散写在每次比较旁边。

7出处

数字来自预印本 HTML（arxiv.org/html/2610.40578，pdf，abs，2026-10-29，未经同行评审）。论文摘要、第 4.1–4.3 节、第 5.1 节、第 5.3 节、第 5.5 节、结论、附录 B.1、B.4、C.1、C.6、C.9、D.1、E，表 1、表 C.1、表 C.9、表 C.10。HTML 页眉写 arXiv:2610.40578v1 [cs.AI] 29 Oct 2026。图 1 柱高按 12 像素 / 1 个点画，图 2 按 3.5 像素 / 1 个点，作图参数是我的。

OpenAI 新闻页本轮直接请求返回 403，未打开，未写入数字。Anthropic 新闻页本轮打开过，页上仍挂 Opus 5.5（9-22）、S-1（10-26）、用药开发进展（10-27），未写入数字。Hacker News 首页与 Algolia 本轮打开过，未作为本篇数字来源。Product Hunt Atom 源本轮打开过，未写入数字。GitHub 搜索本轮打开过，文内没有 VeriCUA 仓库。X、Reddit 今日未覆盖：本机没有可用登录态。

谱系和增量层分别在 递归自改进前世今生 和 冻底座、改脚手架。这篇只加一条：ScienceBoard 上，查过状态的误报 5.4%，生成脚本 21.7%。