Frontier

• 2026-11-05 固定模型换脚手架，Qwen 正确率差 11.5 个点
  一篇预印本把四个开源权重模型各自放进五种脚手架，在同一套 156 个预注册银行行为案例上计正确率。qwen3.8-flash-next 最好一档 93.6%，最差一档 82.1%，差 11.5 个点。deepseek-v4.1-flash 五种差 1.9 个点，Cochran 检验不显著。四种合在一起只从 87.3% 到 92.1%，不和 11.5 进同一列。
• 2026-11-04 条件写法相对规定和解释跟得少，Opus 上 64.2% 对 78.0%
  一篇预印本把同一条可机械核验的政策，用四种写法贴进仓库已有的 ACF。Claude Code 2.1.227 配 claude-opus-5、有效 82 个任务：规定写法遵守率 78.0%，解释 77.2%，条件 64.2%。对照面是规定和解释。sonnet-5 上禁止 17.3%，低于该行条件 35.6%，分母 81，不和 64.2 进同一列。
• 2026-11-03 Hermes 压缩后规则还在，保留一侧违规仍是完整历史的 2.6 倍
  一篇预印本在 pi harness 里看压缩之后还守不守操作规则。S1 用 Hermes、四个 Flash 档、有效 135 组：压缩后约 284/405 跑次规则仍保留，这些跑次里约 60 条仍违规（21.1%），完整历史约 33/405（8.1%），论文写 2.6 倍。策略池里 Pi 和 Pi + RP 的保留一侧不高于完整历史。按案例计的 violation@3 从 9.6%（13/135）到 37.8%（51/135），不和 2.6 进同一列。
• 2026-11-02 Droid 1.0：做一套前沿 harness
  译文。原文 Factory，2026-10-29。Droid 是套在模型外面的提示、工具和循环。Terminal-Bench 4 上，同一模型比各家原生 harness 分数更高、成本最多低 24%。最大改动是程序化调工具：Linear 清理 312 次调用用 2 次请求。交互图在原文。
• 2026-11-02 未训且至多一次调用，AppWorld 完整集过不了一成
  一篇预印本比较六种工具检索结构。AppWorld 345 条、每条至少两个 API、截到前 16：没在测试池上训练、每条查询至多一次模型调用的结构，摘要写完整集不超过 10%。主表最高 9.6%（依赖图 33/345）；消融的确定性 GoS 是 11.9%，未进主表。训过的 COLT 是 32.8%，层级导航 AnyTool 是 30.1%、中位 31 次调用。
• 2026-11-01 ScienceBoard 上，查过状态的误报 5.4%，生成脚本 21.7%
  一篇预印本在三个在线计算机使用环境里核验任务有没有做完。核验器先看机器上下文，再选界面或代码检查。ScienceBoard 169 例：假阳性率 5.4%。同一套 gemini-3-flash-preview 上，按任务生成一次脚本再跑：21.7%。单次看观察的视觉语言模型评审：24.8%。弃权记成失败。AndroidWorld 116 例是 7.7 对 16.9；OSWorld 361 例是 13.9 对 25.9。
• 2026-10-31 同一 200 例上，未核计划终局 0.94，整条可执行 0.47
  一篇预印本在 BFCL v3 的 200 条分层样本上，用 GPT-5.4（high）跑四种工具 Agent。把未核过的计划写进执行：终局成功 0.94，整条工具轨迹可执行 0.47。执行前核过计划的同一套执行器：终局仍是 0.94，整条可执行 0.94。Llama-4 Maverick 上，148 次终局成功里 138 次先走过无效前缀。
• 2026-10-30 同一 2,000 条换一批 25 条，伤害和短答改判 11% 至 22%
  一篇预印本把同一 2,000 条放到不同的随机 25 条批次里。五个 4–9B 开源权重模型：伤害评论和短答打分上，新随机划分改判 11% 至 22%，比改键名或改指令多 6.5 至 13.3 个点。对人 AUROC 只差 −0.033 到 +0.010。九次打乱顺序的多数票仍留下 52% 至 60% 的改判。十五个独立批次的多数票和单独打分仍差 8.4% 至 17.8%。星级评论改判 2.9% 至 3.9%。
• 2026-10-29 三个 Agent 最新版第一次请求里，工具定义占字符 63.2% 至 77.4%
  一篇预印本拦截五个编码 Agent 共 1,886 次发布的第一次模型请求。各 Agent 最新那一版的第一次请求里，工具定义占 Claude Code 请求字符的 77.4%、Qwen Code 72.3%、OpenCode 63.2%；Codex 40.5%，Gemini CLI 18.9%。Claude Code 2.1.243：74,078 字符里工具定义 57,346，系统提示 9,517（13%）。固定用户提示 21 个字符，占最新请求 0.02% 至 0.07%。
• 2026-10-28 十个 Agent、73 条特征：第一阶段 62.7%，整条终检 28.5%
  一篇预印本把同一条用户可见特征拆成 2 到 10 个阶段，Agent 在自己上一阶段的代码上接着改，隐藏测试不回报、不回滚。十个编码 Agent 的第一阶段通过率未加权平均 62.7%；整条特征在最终代码上过终检 28.5%。Claude Opus 5.5 点估计最高：第一阶段 83.6%，整条 49.3%。分母 73 条任务、十个 Agent 各一条通过率再平均。
• 2026-10-27 同一 90 例上，SQL 和 Codex 比每个模型最强手写流程高 14 至 24 个点
  一篇预印本把微服务根因分析放进同一 90 例。SQL agent 和 Codex 的平均规定调用为 0；五个已发表 Agent 把调查写进 SOP、角色投票或程序筛候选。附录 B：SQL 和 Codex 在跑过的每个中档模型上，比该模型最强已发表 Agent 高 14 至 24 个点。分母 90 例。规定调用占比与此同向，原文未做消融。单次调用在 Luna 上，原文正文写高 5.9 个点，不显著。
• 2026-10-26 五个开源权重模型上，只换采集日期，后期答案掉 37.6 至 51.4 个点
  一篇预印本把两份修订的正文和修订时间钉死，只对调采集日期。595 个维基百科页、五个开源权重模型：问句当天的采集日期给旧修订、第二天给新修订，相对另一种赋值，后期参考的精确匹配掉 37.6 至 51.4 个点。Qwen2.5-72B 从 77.1% 到 28.3%。497 页上前一天对调仍掉 29.0 至 39.6 个点。两个闭源接口模型在维基上几乎不动。
• 2026-10-25 规格没写的名字，测试仍要，挡住的单元失败 80.6%，对照 48.4%
  一篇预印本把自然语言规格和上游测试拆开查。SWE-Milestone v1.0.2 的 98 个计分里程碑里，25 个含硬隐藏依赖。被它挡住的构建单元在 35 次公开跑里失败 80.6%；同一批里程碑里带着新测试、没有新依赖的单元失败 48.4%。倍数 1.67（区间 1.32 至 2.04）。附录 B 写 72 个挡住单元对 27 个对照单元。排行榜名次几乎不动。go-zero 的分数会动。
• 2026-10-24 源记录删了，抽取摘要还在，Qwen 上 136/200 还能问回来
  一篇预印本把删掉源记录和派生状态里还有没有秘密拆开测。Qwen2.5-7B-Instruct、层级记忆、写过滤器关掉：一条直接问，IID 200 对上暴露再删除一侧 136 条完整找回（按表 1 四格相加），从未暴露对照 0 条，ΔRec = 0.680（区间 0.615 至 0.745）。摘要是按标识符排序、原文换行拼接的抽取对象。
• 2026-10-23 文档不够 k 条时，展示的 minItems 把超计从 34.5% 抬到 55.4%
  一篇预印本只改 JSON Schema 里的最少条数。558 篇、八个开源权重模型。文档真条目少于 k 时，schema 写出但不强制的 minItems，把超过真值条数的列表从 34.5% 抬到 55.4%（k = 3 和 5，每列 7,272 条）。强制解码 90.1%。匹配器把 62.9% 的额外条目标成原文里种类不对的字，子串源检查 46.6% 能对上。
• 2026-10-22 格式盲转换，76 篇上 docling 的 F1 是 0.150
  一篇预印本只改 Word 政策文档怎么变成模型眼前的字。76 篇、Claude Opus 4.6 上找回作者用红字或高亮标过的要求：作者那套 micro F1 0.690，docx2python 0.586，docling 0.150，纯文本 0.075。这 76 篇是从 6,462 篇里筛出的。高亮和颜色来自作者对自己那套表示做的留一。
• 2026-10-21 怎样用决策模型做评测
  译文。原文 Hamel Husain 与 Antaripa Saha，2026-10-20。98 条租房客服轨迹上比较六家决策模型。默认阈值 0.50 不要直接用。调过之后 Perplexity 每 100 次评测 0.82 美分、F1 0.79；OpenAI Decisions 3.72 美分、F1 0.87。交互图在原文。
• 2026-10-21 Anthropic 的就业正在怎样变化
  译文。原文 Nathan Wilmers 等，2026-10-16。到 8 月交互式代理工时是员工的六倍。技术部门初级员工从 21% 到 14%，初级招聘从 27% 到 9%。跟着同一人看，采用编码代理后产出上升。非技术员工把代理输出读完也要约半个工作周。招聘经理更盯自主和判断。
• 2026-10-20 GPT-5.1 检索读报告，158 条掉 11.3 个点
  一篇预印本只改地球化学模拟器报告怎么到模型眼前。158 条已核答案的四选一上，GPT-5.1 按章节目录读报告，比报告贴进上下文掉 11.3 个点（区间 −18.0 至 −4.9）。数值题上暴露加闭合合计 −8.7。把模拟冻住的只有 GPT-5.2，131 条检查点上掉 9.4 个点。Claude 两个模型和 GPT-5.4 的净差区间含 0。
• 2026-10-19 可见工具列表也是输入，加一个近邻掉 4.7 个点
  一篇预印本把工具接口的表面改动拆开测。DICE-300 上每个任务原先只有一个候选工具。Qwen3.5-9B 只加一个描述重叠的干扰工具，准确率从 0.757 降到 0.710，掉 4.7 个点（分母 300，约 14 条）。只改描述掉 1.3 个点，只改参数名掉 0.7 个点。跨轮次三件一起掉 3.7 至 5.0 个点。
• 2026-10-18 私下已经改口，聊天记录大半看不出来
  一篇预印本让十个同模型智能体聊一条事实，16 轮。没有攻击者时，良性智能体最终私下给出假答案的比例平均 0.6%。一个反复主张假答案的攻击者把这个比例抬到 44.8%，三个抬到 60.5%。三个攻击者在场时，暴露回合上私下假答案 51.6%，聊天里认领 19.7%。已经改口的回合里，公开认领只占 34.3%。
• 2026-10-17 Claude Code 团队怎样做代码评审
  译文。原文 Claude Code 团队 2026-10-15。6 月到 9 月合并的拉取请求翻了一倍以上，必须回退的比例掉了四成以上。人的时间按每条请求的批准数、评论数和等待时长来量，护栏是回退和事故。内部实质评论从 16% 到 54% 是 3 月发布说明的口径；日合并 2,500 到 30,000 是单体仓库，不是这个仓。
• 2026-10-17 怎样更有雄心地使用模型
  译文。原文 Felix Rieseberg，2026-10-13。他把雄心分成速度、高度、深度、广度，速度整节跳过。高度问下一步要发生什么，深度换工具不换说法，广度借别的行当的做法、不借文风。
• 2026-10-15 修好的最后一站，报告仍差 34.8 个点
  一篇预印本用同一批问题去问编码 Agent 的例行报告和完整执行记录。37 个任务、4,799 条有效探针上，报告答对 52.0%，完整记录答对 92.7%，差 40.7 个点（95% 区间 37.3 至 43.8）。隐藏测试判为修好的 30 条里，最后一站仍差 34.8 个点（区间 28.2 至 41.3），30 条里 28 条任务差为正。34.8 是加权准确率的净差，不是报告里有 34.8% 的状态完全答不上。
• 2026-10-14 整池口径下，复现成功撑不起联合验收
  一篇预印本把 12 套编码 Agent 生成的测试回放到 619 个先去掉容易复现任务的仓库问题上。候选补丁来自轨迹，由官方评测打标签。八个代表配置的联合验收率都低于 10%，最高 9.21%（95% 区间 6.95% 至 11.47%）；复现率最高 68.17%。联合验收要求同一条任务上错误池全拦住、正确池全放过。前三名的差距区间含 0。
• 2026-10-13 评审团更一致了，和人的一致没有跟着涨
  一篇预印本按评审团内部的分歧定位并改写评分标准的条款，全程不读人工标签。SummEval 上五个评审之间的 Krippendorff α 比原标准高 0.069（95% 区间 0.046 至 0.092），评审团和专家评分的 Kendall τ 差 −0.007（区间 −0.037 至 0.021）。HealthBench 和 USR 上两项都没达到预设的效果标准。改同样多随机条款的对照组，对人一致的点估计在三个数据集上都更高，区间都含零。
• 2026-10-12 决策单价降了七成，账要按每个成功交付算
  一篇预印本把 Jev 接进五个 Agent 的选动作位置，在 ALFWorld 和 AndroidWorld 上跑了 4,500 次任务执行。单次决策的成本降 66.1% 至 78.4%，五个 Agent 都降。按每个成功交付算，T3A 每次尝试便宜 17.1%，每个成功交付的均值从 68.70 涨到 73.97 mUSD（差值的 95% 区间跨零），另外四个 Agent 每个成功交付的成本仍然下降；FastAgent 每交付一个成功的用时从 239.4 秒涨到 377.8 秒（区间整段为正）。
• 2026-10-11 护栏的选项名也是输入，换对一个词就放行
  一篇预印本把小型决策模型放在 Agent 的放行位上测。待判文本和选项定义不动，只给放行选项换名字，在 198 个候选里取最强的一个，四个把选项名送进输入的模型漏拦率到 98.2% 至 100%（GuardBench 六条策略平均）。另两个不受影响，因为调用库只拼定义。被翻掉的判决置信度没有变低。
• 2026-10-10 技能库自动改写，该盯的是原本稳定的任务还稳不稳
  一篇预印本把五种技能演化方法放在同两套技能库上对比。算子生成那套上，覆盖面最高的两个方法打平在 14/15，三次全过差 20 个百分点。490 个任务里改好的数量接近，变差的 9 对 36。
• 2026-10-08 撤稿的三篇，都在 Lean 没盖到的那一半
  OpenAI 放出 719 份数学稿，形式化覆盖 300 条顶层结果。隔天撤 3 篇修 14 篇，撤掉的三篇在两版形式化目录里都没出现。一个符号错误沿引用链传了两层，形式化目录自标未审查。
• 2026-10-07 Harness 是什么
  译文。原文 Earendil，2026-10-01。安全带把人连到绳和锁上；agent harness 把模型放进一套可改的软件里：系统提示、工具、循环、翻译层。Pi 用户互相分享了超过 5000 个扩展。
• 2026-10-06 扫到的 MCP 工具，默认先关着
  Uber 的 MCP 网关把内部 API 扫进注册表。每个工具一开始是关闭的，所属团队审查后才打开。当时托管超过 800 个 server、超过 5000 个工具。
• 2026-10-05 测过的优化，为什么还在跑
  授权规则变了之后，归档里的通过记录仍会留下旧优化。48 份框架历史里 22 份如此，尽管每一份都有正确替代。
• 2026-10-01 我们 vibe coding 出来的网站，为什么看起来像设计师做的
  译文。Yakko Majuri 把过山车种子做成整座乐园：光谱试稿、单文件分叉、实时调色。原文图和视频保留。
• 2026-09-27 冻底座、改脚手架：2026 年 Agent 和 LLM 公开增量在哪一层
  2025H2–2026 公开增量在冻底座改 harness 和记忆、折叠工作窗、harness 蒸馏；开放 RSI 还没跨过评估器。
• 2026-09-26 递归自改进前世今生：从 Gödel 机到 LLM Agent
  从证明改代码到经验改代码。有界自精炼和开放 RSI 的分界，STaR / SEAL / AZR / AlphaEvolve / DGM，以及能跑起来的冻结评估配方。
• 2026-09-26 知识蒸馏前世今生：从 Hinton 软标签到 On-Policy Distillation
  从 2006 模型压缩到 2026 年 OPD 产线标配。软标签、前向/反向 KL、曝光偏差，以及 MiniLLM / GKD / DistiLLM 和能跑起来的训练配方。
• 2026-09-26 从零训练类似 TypeSafe JEV 的 System One 决策模型
  非自回归结构化评估、RLCD 决策校准、OptionMarker 多头并行，以及开源对照与工业落地选型。