-
2026-10-15 修好的最后一站,报告仍差 34.8 个点
一篇预印本用同一批问题去问编码 Agent 的例行报告和完整执行记录。37 个任务、4,799 条有效探针上,报告答对 52.0%,完整记录答对 92.7%,差 40.7 个点(95% 区间 37.3 至 43.8)。隐藏测试判为修好的 30 条里,最后一站仍差 34.8 个点(区间 28.2 至 41.3),30 条里 28 条任务差为正。34.8 是加权准确率的净差,不是报告里有 34.8% 的状态完全答不上。
-
2026-10-14 整池口径下,复现成功撑不起联合验收
一篇预印本把 12 套编码 Agent 生成的测试回放到 619 个先去掉容易复现任务的仓库问题上。候选补丁来自轨迹,由官方评测打标签。八个代表配置的联合验收率都低于 10%,最高 9.21%(95% 区间 6.95% 至 11.47%);复现率最高 68.17%。联合验收要求同一条任务上错误池全拦住、正确池全放过。前三名的差距区间含 0。
-
2026-10-13 评审团更一致了,和人的一致没有跟着涨
一篇预印本按评审团内部的分歧定位并改写评分标准的条款,全程不读人工标签。SummEval 上五个评审之间的 Krippendorff α 比原标准高 0.069(95% 区间 0.046 至 0.092),评审团和专家评分的 Kendall τ 差 −0.007(区间 −0.037 至 0.021)。HealthBench 和 USR 上两项都没达到预设的效果标准。改同样多随机条款的对照组,对人一致的点估计在三个数据集上都更高,区间都含零。
-
2026-10-12 决策单价降了七成,账要按每个成功交付算
一篇预印本把 Jev 接进五个 Agent 的选动作位置,在 ALFWorld 和 AndroidWorld 上跑了 4,500 次任务执行。单次决策的成本降 66.1% 至 78.4%,五个 Agent 都降。按每个成功交付算,T3A 每次尝试便宜 17.1%,每个成功交付的均值从 68.70 涨到 73.97 mUSD(差值的 95% 区间跨零),另外四个 Agent 每个成功交付的成本仍然下降;FastAgent 每交付一个成功的用时从 239.4 秒涨到 377.8 秒(区间整段为正)。
-
2026-10-11 护栏的选项名也是输入,换对一个词就放行
一篇预印本把小型决策模型放在 Agent 的放行位上测。待判文本和选项定义不动,只给放行选项换名字,在 198 个候选里取最强的一个,四个把选项名送进输入的模型漏拦率到 98.2% 至 100%(GuardBench 六条策略平均)。另两个不受影响,因为调用库只拼定义。被翻掉的判决置信度没有变低。
-
2026-10-10 技能库自动改写,该盯的是原本稳定的任务还稳不稳
一篇预印本把五种技能演化方法放在同两套技能库上对比。算子生成那套上,覆盖面最高的两个方法打平在 14/15,三次全过差 20 个百分点。490 个任务里改好的数量接近,变差的 9 对 36。
-
2026-10-08 撤稿的三篇,都在 Lean 没盖到的那一半
OpenAI 放出 719 份数学稿,形式化覆盖 300 条顶层结果。隔天撤 3 篇修 14 篇,撤掉的三篇在两版形式化目录里都没出现。一个符号错误沿引用链传了两层,形式化目录自标未审查。
-
2026-10-07 Harness 是什么:套在模型外面的那层软件
Earendil 把 agent harness 拆成系统提示、工具、循环、翻译层。用户能拥有并改这层软件,同一套带子可以换模型。Pi 用户互相分享了超过 5000 个扩展。
-
2026-10-06 扫到的 MCP 工具,默认先关着
Uber 的 MCP 网关把内部 API 扫进注册表。每个工具一开始是关闭的,所属团队审查后才打开。当时托管超过 800 个 server、超过 5000 个工具。
-
2026-10-05 测过的优化,为什么还在跑
授权规则变了之后,归档里的通过记录仍会留下旧优化。48 份框架历史里 22 份如此,尽管每一份都有正确替代。
-
2026-10-01 我们 vibe coding 出来的网站,为什么看起来像设计师做的
译文。Yakko Majuri 把过山车种子做成整座乐园:光谱试稿、单文件分叉、实时调色。原文图和视频保留。
-
2026-09-27 冻底座、改脚手架:2026 年 Agent 和 LLM 公开增量在哪一层
2025H2–2026 公开增量在冻底座改 harness 和记忆、折叠工作窗、harness 蒸馏;开放 RSI 还没跨过评估器。
-
2026-09-26 递归自改进前世今生:从 Gödel 机到 LLM Agent
从证明改代码到经验改代码。有界自精炼和开放 RSI 的分界,STaR / SEAL / AZR / AlphaEvolve / DGM,以及能跑起来的冻结评估配方。
-
2026-09-26 知识蒸馏前世今生:从 Hinton 软标签到 On-Policy Distillation
从 2006 模型压缩到 2026 年 OPD 产线标配。软标签、前向/反向 KL、曝光偏差,以及 MiniLLM / GKD / DistiLLM 和能跑起来的训练配方。
-
2026-09-26 从零训练类似 TypeSafe JEV 的 System One 决策模型
非自回归结构化评估、RLCD 决策校准、OptionMarker 多头并行,以及开源对照与工业落地选型。