GPT-5.1 检索读报告，158 条掉 11.3 个点

1GPT-5.1 掉 11.3 个点

2026 年 10 月 19 日，arXiv 收到 Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy（arXiv:2610.26836v1，cs.AI，作者 Ke Zhang、Sahchit Chundur、Jerry Peprah Owusu、Mohammad Javad Abdolhosseini Qomi、Maziar Raissi，单位署加州大学河滨分校与欧文分校）。预印本，未经同行评审。本轮读的是 PDF 全文；实验性 HTML 页返回 200，没有另核一版排版。

长工具输出进不了上下文时，harness 常把它存成文件，让模型按目录、搜索或行号去读。论文问的是：这份报告已经算对了，换成检索读，准确率会不会掉。工具是美国地质调查局的水溶液地球化学模拟器 PHREEQC，报告最长 846.8k 字符，同一份输入再跑一遍，打印值对得上。

表 1 里 Agent-TOC / Agent-Raw100k 两列是各模型的头条运行：GPT-5.1 是 57.0% 对 67.7%，GPT-5.2 是 57.0% 对 65.8%。主对照用的是同一条件下全部运行按条目汇总后的差，不是这两列相减。GPT-5.4 头条 TOC 75.3%、inline 70.9%，汇总后的差是 +0.2，两列不能拿来当主对照。

2只改报告怎么到眼前

题目来自 Zhang 等 2026 的四选一，一位领域专家写的。每条给一套 PHREEQC 设置，问报告里的一个量：某一步的 pH、饱和指数、某个迁移格子里的摩尔浓度。参考答案用 PHREEQC 3.8.6 和作者提供的固定 phreeqc.dat。数值题的干扰项通常只在最后一位印刷数字上不一样。作者把原池 200 条全部再跑一遍：有作者原输入的 9 套用原输入，其余按题面字面编码，从不往答案上调。留下的条件是：打印值与正确选项完全、唯一匹配，收紧收敛或换步长也不改那位数字。158 条、19 套设置留下；42 条排除（错误答案、数值不稳的氧化还原量、题面有缺陷），排除过程没用模型输出。题目作者确认这 42 条作为题目是坏的。

每个智能体四个工具：write_file、read_file（可带行号范围）、list_file、execute_phreeqc。独立工作区，最多 24 步，答案写进文件。模拟器写格式化报告 result.out，每个量按选项的精度印刷。智能体还可以加 SELECTED_OUTPUT 或 USER_PUNCH，把选中的量写到自己的文件里，位数更多。

对照只改 execute_phreeqc 返回什么，以及系统提示里描述这一返回值的那一行。Raw100k（inline）返回报告，头尾截到 10 万字符。TOC 返回元数据和章节目录（带起始行），智能体自己读行范围。Grep 只返回元数据，用正则搜索。Hybrid：报告能进 10 万字符就 inline，否则 TOC。TOC+Report 和 TOC+Round 在 TOC 上各加三句话，分别是从报告作答，或按选项精度四舍五入。无工具基线是 Direct 和思维链，不加模拟器。

模型走 API：Claude Opus 4.6、Claude Sonnet 4.6 温度 0、不开 extended thinking；GPT-5.4、GPT-5.2、GPT-5.1 和 Gemini 3 Flash Preview 用接口默认，不设 reasoning-effort。每个模型一条 Raw100k 头条和一条 TOC 头条。Sonnet 和三个 GPT 的 TOC 再跑三次，GPT 的 Raw100k 再记一次。33 条报告超过 10 万字符的题，四次 TOC 共用一次已修好目录的运行，因为原先这类报告的目录是空的。率按运行平均；计数每条轨迹只用一次。Gemini 3 Flash 即使 inline 也有 46% 给不出可解析答案（TOC 下 71%），正文分析去掉它。

32.75065 截成 2.750

第 121 条：纯水加 0.001 mol 硫酸，问第一步反应后的 pH。选项 A 2.750、B 2.751、C 2.748、D 2.745。正确项是 B。模拟器报告印 pH = 2.751，和选项精度一致。智能体自己的输出文件印 2.75065。

TOC 下 GPT-5.1 不打开 result.out，去读自己那份，把 2.75065 截成 2.750，选 A。系统提示改成「四舍五入，不要截断」，它仍截。改成「从 result.out 作答」，它选 B。图 1 右侧两个数：GPT-5.1 / GPT-5.2 在 158 条上跳过报告的比例约 53% 和 60%；137 条数值题上，看见正确值仍答错的比例约 15% 和 18%（100 减去闭合率）。这两个百分比按轨迹计，原文没给轨迹总数。

4算对了，读的是自己那份

完整日志的全智能体轨迹 5,773 条。作者把智能体写过的输入全部离线重跑，同一二进制、同一数据库，一共 11,007 次模拟调用。有最后一次执行可对照的数值轨迹里，4,971 / 5,009 次重跑报告与存档一致，其余只是行序不同。137 条有数值答案的题上，作者按选项印刷精度做三问：

• 构建 p：智能体自己的某次模拟有没有印出正确值。
• 暴露 s：印出来了，这个值有没有进到模型眼前（inline、读文件或搜索结果）。
• 闭合 c：看见了，有没有答对。

准确率恰好拆成 p×s×c，再加上没看见正确值时的作答（就近选、猜）。相对同一模型那一次有日志的 inline 运行，用 Shapley 把观察到的差分到这四项；论文写明这是分摊，不是各自独立的因果。手工读了 58 条数值轨迹，自动标签和人工在 52 条上一致。

GPT-5.1 和 GPT-5.2 的构建率在各接口之间差不多，构建项的贡献落在 2 个点以内，区间含 0。掉点落在读什么。TOC 下 GPT-5.2 有 60.3% 的轨迹完全没收到报告的任何一段，GPT-5.1 是 53.0%（按轨迹计，原文没给轨迹总数）。同一批轨迹里，读过自己 selected-output 文件的占 86.7% 和 67.5%，这是占全部 TOC 轨迹，不是占跳过报告的那一截。inline 时它们也常定义这种文件，可报告已经在上下文里，答的是报告。论文把这种做法叫证据替换：去答自己定义的输出，不答工具的权威报告。名字是描述性的；文件更短，模型可能只是图省事。Sonnet 在 TOC 下跳过报告只有 10.5%。

报告按选项精度印，自己的文件位数更多，读后者必须四舍五入。看见一个值四舍五入是正确项、截断是邻项时，GPT-5.2 在 26/35 条 TOC 轨迹里选了邻项，GPT-5.1 是 19/27，Sonnet 是 1/35。这些约占「看见正确值仍答错」的三分之二。只看见更多位数时，答对率落到 GPT-5.2 的 72.5% 和 GPT-5.1 的 66.3%；按报告印刷看见时，表 4 写 100.0%。两种形式都在眼前的 20 条里，19 条答对。这列是观察对照，两种轨迹的题目可以不同。

数值题上，相对那一次有日志的 inline：GPT-5.2 的 TOC 总差 −11.4 个点（区间 −21.2 至 −1.5），闭合 −7.7（−12.6 至 −2.9），暴露 −2.5（−5.3 至 +0.4，含 0）。GPT-5.1 总差 −11.9（−20.7 至 −2.7），暴露 −4.3（−6.9 至 −2.2），闭合 −4.4（−8.4 至 −0.5），没看见正确值时的作答 −4.2（−11.0 至 +2.5，含 0）。暴露加闭合合计 −8.7，约占 −11.9 的四分之三；证据替换主要落在这两项。这组是 137 条数值题、三次 TOC 重跑对一次 inline，和表 1 的 158 条汇总差不是同一列。Grep 没有用 PHREEQC 的章节结构，掉幅和 TOC 同向；Grep 每个模型只跑了一次（论文表 8）。

把计算冻住之后，掉幅还在。作者取 GPT-5.2 那次 inline 日志里第一次退出码为 0 的执行，137 条数值题里 131 条有这个检查点。两臂共用文件、系统提示、读工具和剩余步数，不能再跑模拟器，只改这一次返回是报告还是目录。三轮配对：inline 280/393，TOC 243/393，差 −9.4 个点（区间 −14.5 至 −4.6）。115 份能 inline 的冻结报告上差 −10.1；84 条冻结报告里含正确值的题上差 −9.9。附录写，两臂共用同一份系统提示，掉幅不能只归因于 TOC 那一行鼓励去读文件。

5净差接近零也会藏着

GPT-5.4 也替换证据：TOC 下 41.8% 跳过报告，截断陷阱 15/31。相对那次 inline，暴露 −2.6（−4.8 至 −0.5），闭合 −7.2（−11.1 至 −4.2），大约十个点；构建 +4.1（+0.0 至 +8.1），TOC 下模拟更常印出正确值。数值题净差 −4.4（−12.4 至 +3.4）；158 条全部运行汇总是 +0.2。两个净差的区间都含 0，暴露和闭合两项的区间不含 0。

无工具时 Direct 准确率 25.9%–43.0%，最多大约高出多数类标签率 32.9% 十个点。五个 Claude 和 GPT 模型上，加上模拟器比更好的无工具基线高 15.8 至 45.6 个点（原文按未舍入数据算；用稿件表里头条列重算，GPT-5.1 是 57.0 − 41.1 = 15.9）。TOC 与 inline 之间的差另算。

论文表 2 的 TOC 区间：GPT-5.1 53.2%–59.5%，GPT-5.2 55.7%–60.1%；两次 inline 分别是 67.7%/65.8% 和 65.8%/67.7%。两次 inline 都高于每一次 TOC 和那一次 Grep。按 19 套设置再抽样，GPT-5.1 区间 −19.1 至 −2.9，GPT-5.2 是 −16.2 至 +1.0（含 0）；去掉任意一套，点估计仍落在 −14.0 至 −9.7 和 −10.9 至 −5.8。

6点名权威文件，四舍五入不够

如果掉点是因为去读自己那份更高精度文件，只改读什么，构建不应动。TOC+Report 在工具说明和每一次工具结果里加三句：result.out 里的值是权威的，按选项精度印刷；从相关章节取值，不要从 selected-output 作答。Hybrid 不加这句话，报告能进 10 万字符就贴进去。

加了这句话，GPT-5.2 跳过报告落到 0.0%，GPT-5.1 落到 1.6%；闭合升到 98.8% 和 99.2%；截断陷阱 0 条；构建在运行波动内不动。相对全部五次 TOC，准确率 +7.9 和 +6.3 个点（两模型平均 +7.1，区间 +1.9 至 +12.4）；相对 TOC 对照运行是 +3.5 和 +7.9。GPT-5.4 两次都是 81.6%，相对其 TOC 运行 +7.8（+2.2 至 +13.6），相对 inline +7.9（+2.5 至 +13.3）；跳过报告 0.0%，闭合 99.0%，检索带来的构建增益还在（相对 inline +3.4）。摘要把三个 GPT 上相对普通检索的升幅写成 6.3–7.9 个点。

TOC+Round 换成三句四舍五入规则，不点文件名。跳过报告仍接近 TOC，闭合仍约 82%。截断陷阱里 GPT-5.2 仍 17/25，GPT-5.1 仍 14/19。相对全部 TOC 运行，准确率只 +0.6 和 +1.2 个点。TOC+Report 超出 TOC+Round：GPT-5.2 +7.3（+0.6 至 +13.9），GPT-5.1 +5.1（−1.6 至 +12.0，含 0）。告诉它怎么进位，截断还在。点名权威文件之后，闭合升到 98.8% 和 99.2%；GPT-5.1 相对 inline 仍低 5.1 个点（区间 −11.4 至 +0.9），剩下的差在构建、暴露和没有正确值在眼前时的作答，不在闭合。

三次 Hybrid：相对 TOC 对照，GPT-5.2 +4.6，GPT-5.1 +8.0。跳过报告几乎消失，闭合回到 inline 水平。相对 inline，GPT-5.2 +1.2，到了 inline 水平；GPT-5.1 −5.0，剩下的差在闭合以外。Hybrid 不需要知道这个工具；那句指令留着检索，但必须点出权威输出。论文写明，干预对照每个模型只有一次对照运行。GPT-5.2 的 TOC 对照是 63.3%，落在其余 TOC 运行的 55.7%–60.1% 之外。

7你的长输出是贴进去还是存文件

证据边界先写清：PHREEQC 四选一、158 条已核答案、闭源 API、最多 24 步。生产日志、搜索结果、MCP 返回值没有直接测。能进 10 万字符的报告上，GPT-5.2 冻结模拟仍掉 10.1 个点，所以这条不绑在「报告太长贴不进去」。

下面是我的推断，论文没有在 MCP 网关或生产会话上做对照。在这条边界里，最终准确率接近零的差，盖不住暴露和闭合两项。GPT-5.4 的净差区间含 0，替换证据仍在。Claude 两个模型的净差看不出来；有完整轨迹日志的 Sonnet，跳过报告只有 10.5%，截断陷阱 1/35。论文没找出是哪一项模型性质把 GPT 和 Claude 切开。净差不跟厂商品牌走：GPT-5.4 和 Claude 落在一起，它的两个前代不在。

10-15 写的是编码 Agent 自己的例行报告对不上完整执行记录。这一篇是工具的权威报告对上了，模型去读自己写的那份。10-19 写可见工具列表也是输入。这一篇补的是工具输出怎么进上下文。论文第 6 节写，检索把读报告变成选证据；那句话只在 PHREEQC 上测过。

运行位如果把长工具输出一律落盘、只给目录或搜索，先看轨迹里模型打开的是不是那份权威输出。编辑起点如果是加一句「记得四舍五入」，论文表 5 说这句在这一片上几乎不动。点名权威文件或把能贴的贴进去，GPT-5.2 回到 inline 水平，GPT-5.1 大约回来一半，仍低约 5 个点（TOC+Report −5.1，区间 −11.4 至 +0.9；Hybrid −5.0）。11.3 那一列没有整列回来。

8这篇没测到的

• 闭源 API。证据替换出现在三个 GPT 上，有完整日志的 Sonnet 上很少。作者不知道是哪一项模型性质在驱动。
• 解码设置。Claude 温度 0、无 extended thinking；GPT 和 Gemini 用接口默认、不设 reasoning-effort。有没有显式推理时这条还在，不知道。
• 提示差不止返回值。inline 的说明不鼓励再读，检索的说明要求去读。配对重放两臂共用一份系统提示，掉幅仍在。每句指令只测了一种措辞。
• 预算没跑全。不是每个模型、每种条件都有重复和完整日志。全智能体条件跑在不同时间，服务端模型可能变了，作者没建模。四次 TOC 在 33 条长报告上共用一次运行。分解用每个模型一次有日志的 inline。配对重放只覆盖 GPT-5.2，从它的 inline 检查点接着跑。
• 核答案不是独立科学审查。留下的题，用作者输入或题面字面编码能复现键。三套设置、24 条留下的题，题面没有完全指定参考输入；去掉它们剩 134 条，结论方向不变。
• 手工核对有限。阶段标签在 58 条样本上 52 条一致。检索损失里读过的 30 条，走错报告章节 1 条。附录 C 另读了 24 条 TOC 损失（GPT-5.1 和 GPT-5.2 各 12 条，TOC 错、inline 对）：7 条是检索通道造成的，2 条是值已在手仍答错，15 条是构建失败。按条目选出的损失被构建失败主导，构建失败在运行之间进进出出、净效果对冲，所以论文用分解，不用条目级损失。读者看到 53%–60% 跳过报告，不能当成每条丢分的题都是这个原因。
• 干预对照每个模型一次。论文写明 a comparison limited by one control run per model。GPT-5.2 的 TOC 对照 63.3%，落在其余 TOC 运行的 55.7%–60.1% 之外。

9出处

数字来自预印本 PDF 全文（arxiv.org/pdf/2610.26836，abs，版本戳 19 Oct 2026，未经同行评审）。表 1 至表 5、表 9、表 10，第 2–5 节、附录 C 和第 9 节。论文没有在摘要里给出配套仓库，本轮未把 GitHub 检索结果当数字来源。

OpenAI 新闻页直连返回 403，未核对当日条目。用 r.jina.ai 读到 低资源编程语言 评测（MultiLangBench 20 种语言、COBOL 迁移）；页面没有发布日期，稿件未把「10 月 19 日」当作该页日期，也没有把这些数字写入正文。Anthropic 新闻页本轮用 r.jina.ai 读到的列表停在 10 月 16 日；独立评审另抓到 10 月 18 日 Investing in the public benefit，没有可写进运行位的新测量。Hacker News 近两日可见 Hybrid Reasoning Agents、Harness2，没有带 158 条分母的证据替换测量。Product Hunt 当日榜被验证页挡住。X、Reddit 今日未覆盖：本机没有可用登录态。arXiv cs.CL / cs.AI / cs.LG 的 export API 本轮按 2026-10-18 至 2026-10-21 检索。

谱系和增量层分别在 递归自改进前世今生 和 冻底座、改脚手架。这篇只加一条：GPT-5.1 在 158 条上，报告改成检索读掉 11.3 个点；冻住模拟的对照只覆盖 GPT-5.2，131 条上掉 9.4 个点。