同一 2,000 条换一批 25 条，伤害和短答改判 11% 至 22%

111 到 22

2026 年 10 月 29 日，arXiv 收到 Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items（arXiv:2610.40241v1，cs.CL，作者 Peng Xie、Amr Alanwar，单位署慕尼黑工业大学海尔布隆校区）。预印本，未经同行评审。本轮读的是 HTML 全文。复制包标在 github.com/PX-CPS/Judged_in_company，本轮没有打开运行产物。

为了省重复的指令，一条提示里放多条独立样本，模型一次返回每条的判定。论文把这叫同屏批改（in-context batching）。默认假设是可分离：一条的判定只取决于这一条，不取决于同屏另外 24 条，也不取决于它排在第几格。解码器按顺序写 JSON，写第 12 条时已经读过另外 24 条正文，也写过前 11 条判定。

论文图 1 给了一条 SciEntsBank 短答。单独打、改键名、都判正确。随机批次 A 排在第 14 格、改键名、改指令，三次都判部分正确；批次 B 第 15 格判部分正确；批次 C 第 8 格又判正确。每次给出的下一 token 概率都高。

2同一 2,000 条、每批 25

三个任务各抽 2,000 条，固定种子。伤害评论来自 Measuring Hate Speech，至少三名标注者；判定是五档伤害里达到第 2 档及以上（针对人的侮辱或骚扰），人工标签是语料仇恨分大于 0.5。短答来自 SciEntsBank，对照参考答案打不正确 / 部分正确 / 正确，判定是正确。星级来自 Yelp Review Full，判定是四星及以上。每条都单独打一次，再放进三个彼此独立的随机划分，每批 25 条。

五个主模型：Qwen3-4B-Instruct-2507、Qwen3-8B（关掉思考）、Gemma-4-E4B-it、Granite-3.3-8B-Instruct、GLM-4-9B-0414。bf16、贪心解码，每个模型一台 RTX 5090。提示给出量表、一行背景、条目，要求返回把条目编号映到一位数字的 JSON。判定读模型写出的数字。

对照都在划分 0 上：把 c0 改成 m0；换一句指令；同一条提示一次只生成一条，用来量 GPU 批推理的数值噪声。事先定了三道门。G1 要求短答和星级上至少三个模型的新划分改判超过最大同屏对照，且多出来的下沿不少于 2 个点。短答五个都过，星级一个都不过。论文因此只把有真实含糊的判定写成可推广。

表里「新划分」是划分 0 对划分 1，门 G1 也用这一对。分母是有判定的条目，接近 2,000；表 17 有效 n 是 1,977 至 2,000，表 18 是 1,975 至 2,000。表 4 三个划分两两平均会略有不同，Granite 短答是 21.9。对照是改键名、改指令、一次只生成一条三者里最大的那个。一次只生成一条：伤害和短答 0.5% 至 2.1%。表 2 脚注：星级多出来的下沿低于 2 个点。

3AUROC 几乎不动

表 3：写出的档位对人标签的 AUROC，单独打和每批 25 条（三个划分平均）相差 −0.033 到 +0.010。十对里有六对超过条目重抽样会给出的波动，所以汇总指标能看见批改，这个量级多数验收会放过。判定在两个划分之间已经改了 11% 至 22%。

过线比例动得更大。伤害任务上，Gemma-4 单独打过线 49%，同屏 31%；Granite 59% 到 43%。附录 J 四个大模型里，三个在伤害上过线少 9 至 17 个点。调过阈值再看准确率，这一截也会漏掉。

论文附录 H 写了为什么汇总过得了、条目过不了。两条条件相对标签的错误率如果都在 20% 至 38%，共享错误一变，改判率可以从 0 到 41% 至 74%。阈值模型里，上下文贡献的分数方差对 AUROC 按份额降，对改判按份额的平方根涨。

附录 J：Qwen3-14B、Qwen3-32B、Gemma-4-31B-it、GLM-4-32B-0414，伤害和短答、同一套划分和对照，H200 NVL。新划分改判 5.9% 至 14.6%，比最大对照多 4.2 至 9.1 个点。Qwen3-32B 伤害 14.6%，Gemma-4-31B 短答 5.9%。伤害上四台写出档位的 AUROC 都升了 0.011 至 0.057，三台明显超过重抽样噪声，Qwen3-14B 刚过。论文写是单独打时大量条目挤在同一档、并列拉低 AUROC。验收如果只看伤害 AUROC，会放行批改；这四台伤害改判仍有 8.4% 至 14.6%。

4换顺序还不够

两个随机划分之间的潜在不相似，伤害和短答上是 0.06 至 0.24。邻居顺序占 0.42 至 0.69，格子占 0.09 至 0.32，同屏成员的主效应占 0.01 至 0.25（平均 0.15）。判定尺度上不靠阈值模型：顺序占改判的 0.62 至 0.80，成员主效应占 0.00 至 0.14。事先定的「固定格子上的成员份额」给第一格五分之一的权重，报 0.22 至 0.44，偏高。按随机划分重新加权之后是 0.10 至 0.30。

第一格模型还没写下别的判定，「保持格子、重排其余」只改 4.0% 的判定；另外四个指定格 9.9% 至 11.8%。五个指定格是 0、6、12、18、24，每个划分 400 条。

附录 J 把划分 0 和 1 的每一批按九种顺序各打一遍。第 5.4 节用三次、五次、九次多数票的改判率除以单次顺序的改判率：留下 71% 至 76%、60% 至 69%、52% 至 60%。表 17 只列出九次之后留下的份额，十对 52% 至 60%，合计 56%（区间 53 至 58）。费用乘三、五、九。成员主效应投票去不掉：潜在尺度上占 0.11 至 0.22，十对区间都不含零。

跨批次投票平均掉成员，收敛到「批改自己的主判定」，到不了单独打分。一个随机批次和单独打分差 10.9% 至 19.8% 的判定（合计 16.0%）。十五个独立批次的多数票仍差 8.4% 至 17.8%（合计 12.6%，区间 12.1 至 13.2），大约只去掉五分之一。把每批的阈值调到和单独打分过线一样多，多数票仍差 7.9% 至 13.5%（合计 10.4%）。Gemma-4 和 Granite 的伤害任务上，大约一半的分歧是过线点在动；其余几对更少。

每任务 200 个目标，分别放在第 12 格和第 24 格。只换更早写出的判定，目标改判 7% 至 23%；只换邻居正文，9% 至 26%。两个通道都过了事先定的 3%。两条一起换是 9% 至 22%，十对里都小于两通道相加，七对里比单换还小。未改的前向过程复现写出判定 97.8% 至 99.5%。

每批 5 条，已经有 9% 至 16% 的判定和单独打分不同；每批 50 条，12% 至 23%。论文第 6 节写可分离的做法：一条提示一条，或者块注意力让每条只看见共享指令和自己；共享前缀缓存之后，隔离的费用接近带缓存的批改。

5你的运行位有没有同屏

读完要看的是：自己的评审、打分、审核请求里，有没有把彼此独立的样本塞进同一条提示。五个 4–9B 模型在伤害和短答上，换一批 25 条就改判 11% 至 22%。对人 AUROC 几乎不动，过不了这一关。

技能记录如果只留「用模型当评审、批量 JSON 一次返回」，没有记下每条请求里塞了几条、邻居怎么抽、判定读的是单独打还是同屏，和这篇测到的缝是同一条。论文引言转述过：有研究把 25 到 100 条、最多十个编码变量写成对多数现行模型安全，省八成以上 token、准确率少不到 2 个点。这篇没有复现那组准确率，测的是同一条换邻居之后判定还在不在。

下面是我的推断，论文没有在你的线上测过。评测集如果把多条轨迹、多条补丁、多条工具结果拼进一次评审调用，邻居顺序和成员都会进判定。多数票打乱同一批的顺序，费用上去了，成员主效应还在。用单独打分当金标准也不稳：校准过线之后，单独打分和十五个批次里抽十三批的多数票，合计差 10.4%；一个批次和其余十四个里抽十三批的多数票差 11.0%。分歧也不等于错：十五批多数票和单独打分不一致的那些条目上，十对里有四对多数票贴人标超过一半，原文写最高到 83%，没有逐对的表。

10-13 写过改评分标准能让评审彼此更齐，和人的齐没有跟着涨。那篇动的是条款。这篇动的是同屏的邻居。

6这篇没测到的

• 主实验是 4–9B 开源权重。四个 14–32B 只在伤害和短答上跟了核心设计，H200 NVL，没有星级、没有改批次大小、没有干预、没有投票。Granite 家族没有大模型。闭源模型这篇说可能更敏感也可能更钝。
• 三个英文任务、一套提示加一句改写、JSON、贪心。附录 J：四个 14–32B 在改写指令下新划分改判 6.1% 至 13.0%，相对原措辞 −1.6 至 +0.2 个点；五个主模型在 H200 投票实验里改判 9.9% 至 21.0%，相对原顺序 −1.9 至 +0.1 个点。两段合计 18 对里 16 对少于原措辞。对话里一条一条问，这篇没测。
• 标题的 11–22 是伤害和短答、划分 0 对划分 1。星级 2.9% 至 3.9% 过不了 G1。表 4 三个划分平均会差零点几个点。
• 顺序和成员×格子的拆分靠五个指定格。这五个格只重排 24 个邻居里的 20 个，第一格更钝，论文做了重加权。事先定的成员份额把第一格权得过重。
• 潜在尺度是高斯阈值模型，假定每条的上下文方差相同。十五批里判定不全相同的条目，模型低估 1.8 个点（区间 1.4 至 2.2）。九次打乱留下的改判率，拟合投票实验后差在 1 个点以内；用主实验事先预测，一对会偏 −2.0 到 +2.2 个点。
• 附录 G 的闭源模型按条回答、共享上下文，不是一次 JSON，测不到判定通道。那组中文审核数据不公开，本篇不用它的数字。
• Yelp 评论文本、星级和模型输出不随复制包发布。星级结果要按发布的设计和跑数脚本重跑才能复现。

7出处

数字来自预印本 HTML（arxiv.org/html/2610.40241，pdf，abs，2026-10-29，未经同行评审）。论文摘要、第 4–5.6 节、第 6–7 节、表 2、3、4、16、17、18，附录 J。HTML 页眉写 arXiv:2610.40241v1 [cs.CL] 29 Oct 2026。本轮从 export.arxiv.org API 读到 published 2026-10-29T15:14:16Z。图 1 柱高按 14 像素 / 百分点画，作图参数是我的。图 2 框宽按文字排，不是按百分比精确比例。

OpenAI 新闻页本轮经 r.jina.ai 打开过，10 月 29 日有更新 Model Spec、检测前沿模型偏离对齐两条，未写入数字。Anthropic 新闻页本轮打开过，10 月 30 日页上仍挂 Opus 5.5（9-22）、AI for Science 扩展（10-28）、用药开发进展（10-27）、S-1（10-26），未写入数字。Hacker News 首页本轮打开过，未作为本篇数字来源。Product Hunt 当日页返回验证码，未读条目。GitHub 搜索本轮打开过，未作为本篇数字来源。X、Reddit 今日未覆盖：本机没有可用登录态。

谱系和增量层分别在 递归自改进前世今生 和 冻底座、改脚手架。这篇只加一条：同一 2,000 条换一批 25 条，伤害和短答改判 11% 至 22%。