检索窗口:2026-11-06 至 2026-11-13 | 本期精选 5 项
版本状态:Agent Benchmarks、CARE-PO、CoRA-Bench、Correct Answers 为 11-06 至 11-10 的 arXiv v1;SPRING-5 为 11-05 的 v1,窗口外一天,此前未推送。CoRA-Bench 已被 NeurIPS 2026 Workshop(Long-Context Foundation Models)接收,CARE-PO 标注为 ICLR 2027 在审。代码状态逐条标注。
本期五项没有一项在发布新 agent 能力,讨论的都是「评测本身够不够格」:pass/fail 位是否能分开领先者、工具调用成本怎么记、上下文选择有没有保住证据、记忆评测里的正确答案是否真的由可见历史决定、工具文档修复的收益是否大过评测噪声。
1. Agent Benchmarks Stop Ranking Before They Run Out of Tasks(2026-11-10)
类型:论文(arXiv v1;未见正式发表版本)
解决什么问题:当 agent benchmark 不再能分开头部模型时,通常的反应是做一个更难的版本。作者重打分 8 个 benchmark 的已发布 run,认为大部分饱和发生在测量层而不是任务层:把一个 run 压成一个 pass/fail 位,既太粗,又被参考答案封顶。
核心方法或评测设计:用已发布的逐任务结果重算排名,分两处失效。其一,位太粗:SWE-bench Verified 前十相邻 agent 的差距小于测试本身的误差,修正判定后的重排幅度不比随机删掉每个 agent 六分之一的通过样本更大;Terminal-Bench 2.0 前十在统计上归为一档,45 个两两比较没有一个显著。其二,位被封顶:ALE-Bench 前十按竞赛分能分开,但改用中位数人类作参考时全部打平,尽管近一半 run 其实超过了该人类;换更高的参考只会把可分辨的能力带移走,不会变宽。作者给出 clipped log-ratio 分数(带日期锚点、在参考之上留出空间),并把成本作为独立轴;在 Terminal-Bench 重跑中,pass/fail 打平的模型在被丢弃的那部分量上相差十倍以上。
为什么对 Agent Harness 有价值:harness 对比最容易踩的坑就是拿一个二值通过率宣布「A harness 比 B 好」。这篇给出了可操作的门槛:相邻差距要超过任务集统计误差与 verifier 误差之和才谈得上排名;同时把成本单列,避免「多花五倍钱刚好通过」和「便宜通过」同分。对做 model×harness 矩阵评测的团队,这几乎是评分协议的直接修改建议。
建议重点看:§3 关于「位太粗」的误差分解(测试误差 vs 任务采样误差);§4–6 关于参考封顶与分档的讨论;clipped log-ratio 的定义与日期锚点;作者对 SWE-bench Verified 前 30 名判定修正后的分档变化。
适用标签:整体 Benchmark
链接:论文 | 代码:论文页未给出公开代码链接
2. CARE-PO: Controllable Tool-Call Efficiency for LLM Agents(2026-11-09)
类型:论文(arXiv v1;Comments 标注 ICLR 2027 在审)
解决什么问题:外部工具调用是 agent 的主要运行成本,但训练目标几乎只对齐任务完成。作者先做步级诊断:在 GAIA 上,Qwen3.5 两个尺寸的多数轨迹都含有可删除的调用,比例相近。已有的「效率奖励」又有三个副作用:定价锚点来自策略自己的 rollout,会随策略漂移;训练可能坍缩到完全不发工具调用;一次训练只给一个工作点,用户无法在效率与能力之间取舍。
核心方法或评测设计:CARE-PO 把效率奖励的锚定改成「按任务自身难度设定、训练前固定的参考预算」;在每个在线 GRPO rollout 组里注入一条训练数据中的成功轨迹,并对「轨迹从未收集到的证据」计费,缓解调用数坍缩;再用 prompt 里的 effort tag 塑造成本曲线,使一次训练产出效率点和能力点两个工作点。GAIA 上三个模型尺寸的六个工作点中有五个同时改善成功率与调用数;在四个留出的多跳 benchmark 上结果与尺寸相关:27B 与 4B 保持或提高成功率且调用更少,9B 的两个工作点则是用成功率换调用数。诊断还给出成本削减的构成:被效率点删掉的调用中 58% 属于尾部重复循环,21% 是必要调用;基础模型触发调用上限的轨迹从 15.6% 降到 1.4%–3.4%。
为什么对 Agent Harness 有价值:它把「无效探索」拆成可标注的调用形态,并给出一个反直觉的检查点:调用数下降可能只是放弃了难任务。作者用「base 与效率点都答对的 37 道题」做对照,发现这些题上调用仍下降 57.5%,才排除了「少调用=少干活」的解释。做 harness 成本优化时,这类受控对照比单纯报告平均调用数可靠得多。
建议重点看:Appendix A 的调用形态分类(form i/ii/iii)与诊断 judge 的逐调用标注;效率奖励的锚定方式与注入成功轨迹的细节;GAIA 上六个工作点的成功率/调用数配对;四个留出 benchmark 的尺寸差异。
适用标签:优化闭环 / Trace 诊断
链接:论文 | 代码:论文页未给出公开代码链接
3. CoRA-Bench: Evaluating Evidence Preservation by Context Selectors Under Token Budgets(2026-11-06)
类型:论文 + 开源(代码,摘要给出仓库地址;已被 NeurIPS 2026 Workshop 接收)
解决什么问题:上下文选择能缩短长输入,但也可能删掉回答问题所需的证据。现有比较多在各自的预算和指标下进行,缺少在同一 token 预算下同时测「证据是否保住」和「下游是否答对」的基准。
核心方法或评测设计:在共享 token 预算下比较 7 类选择器:头尾截断、BM25、dense retrieval、dense + rerank、LLMLingua-2、Provence;覆盖 BABILong、LOONG Financial Spotlight、自定义 NoLiMa 诊断集和 LongMemEval。评测分三层且使用同一批被选中的上下文:证据保留率、token 保留率、reader 端答案指标(数据集原生指标、同题三次运行、paired bootstrap 置信区间)。结果呈现明显的任务依赖:128K 的 BABILong 上 BM25 支持事实召回 0.921;64K 的 NoLiMa 上 dense 与 dense+rerank 的 needle 召回均为 0.908;64K 的 LongMemEval 上 dense 的 answer-bearing turn 召回 0.993。32K 预算下,BM25 的 BABILong 答案准确率 46.20%,dense 的 LongMemEval 准确率 71.13%。关键结论是:方法排序随证据类型变化,证据召回与下游准确率的排序并不一致。
为什么对 Agent Harness 有价值:context management 是 harness 里最容易「看起来省了 token」的组件。这篇把评价拆成证据保留与端到端正确率两层,并强制同一预算、同一上下文,能直接回答「这次压缩有没有把答案删掉」。对做 compaction、检索注入或子 agent 上下文隔离的团队,它的三层指标可以照搬成回归测试。
建议重点看:benchmark 构造与共享预算的设定;7 类选择器在四类证据上的对照表;证据召回与 reader 准确率不一致的具体案例;LongMemEval 上的 answer-bearing turn 口径。
适用标签:Memory 评测 / 整体 Benchmark
4. Correct Answers from Insufficient Histories: A Controlled Study of Agent Memory Evaluation(2026-11-09)
类型:论文(arXiv v1;未见正式发表版本)
解决什么问题:一个回答可以和「完整历史」下的参考答案一致,但读者实际看到的历史并不足以决定它。现有记忆评测把「答对参考」直接当成记忆能力,无法区分「真的从历史推出来」和「猜中/背出来」。作者要测的是证据充分性,而不是参考答案一致性。
核心方法或评测设计:用可执行的设备日志构造受控实验,把评测拆成三件事:参考一致、经认证的证据充分、与上下文相符的行为。不充分的定义很严格:存在两条合法历史,产生逐字节相同的可见上下文,却对应不同答案;充分前缀则由公开时间线与 query cutoff 认证。在 80 条确认历史上构造出 203 个「不充分原始前缀」实例。Qwen3-32B 在其中 87 个实例上仍匹配隐藏参考答案,只做出 7 次恰当的弃答;固定输入的 DeepSeek-V4-Flash 复现实验匹配 85 个、弃答 21 个。两者各发 1600 次请求。另一个 held-out judge 研究正确率 99.38%,但仍保留支持错误与截断;确定性 baseline 能解掉全部构造案例。
为什么对 Agent Harness 有价值:这是对记忆 benchmark 的一次「评测器审计」。它说明只报 recall/accuracy 会把「历史不足也能答对」算成记忆能力,从而高估记忆系统。对 harness 的启示是:记忆注入点必须携带可核验的证据链,评测则要能检查「这条回答是否由可见历史决定」,弃答应当作为单独指标记录,而不是当作错误。
建议重点看:不充分实例的构造协议(两条合法历史、逐字节相同上下文);203 个实例的选取与认证;恰当弃答的判定口径;held-out judge 的支持错误与截断分析。
适用标签:Memory 评测 / Trace 诊断
链接:论文 | 代码:论文页未给出公开代码链接
5. SPRING-5: Measuring Tool Documentation Repair for LLM Agents by Efficiency(2026-11-05)
类型:论文 + 开源(代码/数据/运行记录,论文页给出仓库;11-05 v1,窗口外一天,此前未推送)
解决什么问题:自动修复工具文档的方法大多按任务准确率评估,但文档质量首先影响的是调用路径:多绕几步、调错工具、反复重试。准确率不变时,这些成本完全看不见。作者改按「调用数」评,并先证明这个测量本身可信。
核心方法或评测设计:20 个工具家族、344 个任务,每个任务带一份故意退化的 spec、一份手写诚实 spec、确定性后端和答案键;按相对理想调用路径计费,答错直接记满预算,另报「每个正确任务的调用数」以剥离这项惩罚。2644 个 baseline session 显示,54% 的错误答案没有伴随任何被拒调用、拒绝或重试——错误是静默发生的。基准自带三个效度工具:build-time ceiling assertion 要求诚实 spec 达到理想路径(只在一个家族系统性失败);dud rule 找出强模型冷启动即可解决的家族(抓到 4 个);直接测量的噪声地板显示,同一份逐字节相同的 spec 两次评测的 95% 区间是 0.64–1.56 倍,意味着约八次比较就有一次仅凭噪声跨过常规显著性门槛,而廉价的地板估计会因哪些家族恰好未被编辑而产生偏差。在此校准下,schema-only 方法只补上 1% 的成本差距,在线自演化循环 13%,一次批量重写 33%,带正确性标签的变体 58%;批量方法相对循环的优势主要来自它读到的证据,控制曝光后不再可检测。
为什么对 Agent Harness 有价值:工具描述是 harness 里最便宜也最常被随手改的组件,这篇给出了「改了到底有没有用」的判定框架:成本指标 + 三项效度检查 + 噪声地板。尤其是「54% 的错误没有拒绝/重试信号」和「八分之一比较会被噪声骗过」,可以直接用来审自己的工具文档 A/B 测试。BFCL 上 62% 的留出 query 已能从随附文档答出,也解释了为何该数据集上容易出现 pooled null。
建议重点看:成本指数的计费规则与「每正确任务调用数」的配合;三个效度工具(ceiling assertion、dud rule、噪声地板)的实现;五种修复方法的成本差距分解;BFCL 上 pooled null 的解释。
适用标签:优化闭环 / 整体 Benchmark
链接:论文 | 代码与数据(地址来自论文页 Comments;当前检索环境无法访问 GitHub,仓库内容未核实)
今日最值得读的 1 项
Agent Benchmarks Stop Ranking Before They Run Out of Tasks —— 它把 agent benchmark 的「饱和」拆成可检验的测量问题:pass/fail 位既太粗又被参考封顶,并用 8 个 benchmark 的已发布 run 重打分,给出 clipped log-ratio 加独立成本轴的替代评分;任何做 model×harness 对比的团队都能直接改评分协议。
本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注「未能核实」,不要补写猜测性指标或结论。