检索窗口:2026-11-05 至 2026-11-12 | 本期精选 5 项
版本状态:Veritas、Dependable Long-Horizon、Beneath the Surface、Comparative Analysis 均为 arXiv v1 预印本,其中 Comparative Analysis 已被 KDD 2026 接收;GroupAssistBench 为 v1(11-03)后的 v2 修订版(11-08)。代码状态逐条标注。
本期的主线是「评测对象从最终分数转向过程证据」:verifier 本身由 harness 生成,失败要追到错误进入点而不是责任步,harness 进化要看覆盖损失和成本,记忆要看「用」而不是「召回」,评测框架自己也要先测稳定性。五项分别对应这五个层面。
1. Veritas: A Verifier Generation Harness for Agent Tasks(2026-11-09)
类型:论文(arXiv v1;未见正式发表版本)
解决什么问题:自改进系统依赖 verifier 判断每一轮改进是否有效,但大多数任务的 verifier 是手写的,成本高,且大量任务根本没有现成 verifier。作者要回答:verifier 能不能由 harness 自动生成,以及生成质量主要由模型还是 harness 决定。
核心方法或评测设计:在通用 coding agent 之上加三个 verifier 专用机制:evidence header(声明 verifier 将观察什么证据)、domain rules library(任务没有明说的领域规则)、authoring principles(部分由自改进循环精炼)。评测固定模型,覆盖 6 个 benchmark:4 个按执行结果打分(先认证官方 verifier 本身可靠),2 个做成对回复比较。与 7 个 plain harness 对比,报告与官方判定的一致性 κ*;主表显示 τ²-bench 上 0.787 对最强 baseline 的 0.726,SWE-bench Verified 0.720 对 0.693,Terminal-Bench 0.465 对 0.238。同一套机制迁移到其他 harness 后,12 个「harness × execution-scored benchmark」组合中有 9 个提升,Claude Code 在 Terminal-Bench 上从 0.24 提到 0.59。
为什么对 Agent Harness 有价值:它把「评测器」当成 harness 的一等组件,而不是外挂脚本。更有说服力的是同模型对照:plain harness 之间的 κ* 在 τ²-bench 上从 0.16 到 0.73,在 Terminal-Bench 上从 -0.04 到 0.39,说明 verifier 质量主要是 harness 变量。对没有官方 verifier 的任务,evidence header 和 domain rules 这两个机制可以直接搬。
建议重点看:§3 三个机制的设计(Figure 1a);§4.2 主结果表(八个 harness 的 κ* 对照);§4.5 失败分析,尤其是「拒绝正确解多于接受错误解」这一偏向,决定了 verifier 该往哪个方向校准。
适用标签:优化闭环 / 整体 Benchmark
链接:论文 | 代码:论文页未给出公开代码链接
2. Dependable Long-Horizon LLM Agents: A Trajectory-Centered Empirical Study of Where Errors Enter and Which Controls Reach Them(2026-11-09)
类型:论文 + 附录工件(annotation protocol、episode records、统计脚本,随 v1 发布)
解决什么问题:常规失败分析只记录症状——一个 failure-mode 标签,或「哪个 agent 的哪一步该负责」。它不回答四个工程问题:错误从哪进入、哪个状态把它带到症状、轨迹里有没有反证、哪类控制能拦住它。
核心方法或评测设计:定义一种 episode record,把候选 fault 与它的 origin、propagation、detection、response、consequence 串起来,按 operational phase 和 state domain 定位,并标注 control family 的 observation(能看到什么)与 reach(能改什么)。把记录写成 annotation protocol,对 Who&When 和 MAD 两个公开语料中 6 个多 agent 系统的 95 条失败轨迹做全文精读。结论很具体:错误进入很早(中位数在整条轨迹的 0.18 处);88 条 Who&When 轨迹中有 37 条,错误进入点早于语料人工标注的 decisive step;72% 的失败轨迹在失败发生前已经含有不利于该错误的证据,其中 88% 没有任何 agent 对这些证据采取行动;31% 的轨迹出现过 deviation 信号,但没有一次响应真正移除了偏离状态;35/95 条只要恢复 agent 自身状态就够。另有一个纯 harness 层发现:45% 的 Who&When 失败实际以 provider content-filter 崩溃结束,随后 harness 输出了一个没有任何 agent 产生过的 final answer。
为什么对 Agent Harness 有价值:它给出了比「责任步」更可操作的 trace schema,尤其是 control family 的 observation/reach 映射,可以直接转成 harness 里的检查点:谁该看到这个状态、谁有权回滚。content-filter 那条发现则是典型的 harness 缺陷——把基础设施失败包装成正常终答,任何只做结果打分的评测都看不出来。
建议重点看:附录 PROTOCOL.md(记录 schema 与标注口径)、schema_skeleton.json、scripts/aggregate.py,以及 records/ 下几条完整 episode,对照摘要里的比例数字看标注是如何落到具体步骤的。
适用标签:Trace 诊断
链接:论文(附录工件在 arXiv 页面的 Ancillary files 栏)
3. Beneath the Surface: What We Overlook When We Talk About Agent Evolution(2026-11-05)
类型:论文(arXiv v1;未见正式发表版本)
解决什么问题:harness evolution 被视为不更新模型权重的递归自我改进(RSI),但「benchmark 分数更高」是否等于可靠、高效、可迁移的改进?作者系统检查了分数背后的代价。
核心方法或评测设计:4 种进化方法 × 两类 harness × general/coding 任务,做四组实验:重复评测(看可靠性是否稳定)、受控 agent 扩张、组件干预、admission replay。结果包括:16 个 evolved agent 全部出现「获得新任务的同时丢失已覆盖任务」;一个 general-task 案例可靠性提高 5.2 分,代价是丢掉 10 个此前已覆盖的任务;多数可靠性增益同时抬高部署成本;最高分 agent 在四个 pool 中都不是平均提升最大的;更严格的 admission 会丢弃有用变体;迁移只在 coding target + outer-layer-only harness 上稳定为正。作者据此提出 EvoAudit,把 select/analyze/mutate/gate 四步改成保留感知的版本。
为什么对 Agent Harness 有价值:自动优化 harness 的团队最容易只看总分。这篇把 coverage retention、部署成本、跨任务迁移三项补进评测,等于给「进化」加了回归测试。组件干预和 admission replay 这两种实验设计,也可以直接用来审自己的 harness 版本迭代。
建议重点看:四组实验的设计(尤其 component intervention 和 admission replay 如何隔离变量);「最高分 ≠ 最大平均提升」的反例;EvoAudit 的 gate 规则如何把 coverage 损失纳入准入。
适用标签:优化闭环 / 整体 Benchmark
链接:论文
4. One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough(GroupAssistBench,v2 2026-11-08)
类型:论文 + 开源(代码与数据集,论文页声明);预印本 v1 2026-11-03,v2 2026-11-08
解决什么问题:记忆 benchmark 大多用固定答案考 recall,但助手的价值在于「用」记忆给出合适回复;群聊场景更极端,要整合多个成员的信息、跟踪修订与冲突,最后只输出一个回复。
核心方法或评测设计:基于 50 个真实群聊、80,299 条消息、2,395 个问题构建,数据成本超过 5.3 万美元。评测分两轴:任务轴区分 L1 recall(有参考答案)与 L2 use(无固定答案的服务请求);依赖轴区分 M1 单条记忆、M2 分散在多人、M3 相互冲突。L2 用逐题定制的 rubric 打分,惩罚项来自真实用户反馈;每个请求都验证过确实需要群历史,记忆锚定到原文片段。评测 14 个配置,覆盖 full context、检索方法和外部记忆系统。结果是明显的能力错位:最强记忆系统在 recall 上 0.621 超过 full context 的 0.570,但在 use 上只有 0.247,远低于 0.431;full context 的 use 也从 M1 的 0.505 掉到 M3 的 0.303。作者加的两个改动——关联检索到的记忆、把记住的事实绑定为回复约束——带来稳定增益。
为什么对 Agent Harness 有价值:它把记忆评测从「检索命中」推进到「约束遵守」,M3 冲突记忆是现有 benchmark 少有的维度。对 harness 的直接启示是:记忆模块的集成点(何时注入、注入多少、是否作为硬约束)比记忆库本身更决定最终表现。recall 与 use 的差距说明,只测检索会高估记忆系统的价值。
建议重点看:benchmark 构造与 L2 rubric 的惩罚项设计;§5 关于 relational evidence organisation 和 assistance constraint binding 的分析;Hugging Face 数据集里的 M3 冲突样本。
适用标签:Memory 评测
链接:论文 | 代码 | 数据集(代码与数据集地址来自论文页 Comments;当前检索环境无法访问 GitHub,仓库内容未逐一核实)
5. Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents(2026-11-10)
类型:论文(正式发表:KDD 2026, Jeju, Korea)
解决什么问题:企业 analytics agent 的评测框架本身可靠吗?三种范式——基于 trace 的 LLM judging、纯文本 LLM judging 加 red-teaming、确定性启发式——在稳定性、已知风险检测、未知风险发现上的表现差异,此前缺少受控对比。
核心方法或评测设计:两套 analytics agent、冻结的执行 trace,分三阶段。Phase 1 用重复测量量化评测 harness 的稳定性,97% 的配置达到稳定性阈值,且稳定性模式与具体 agent 无关。Phase 2 在 72 个 ground-truth 用例上测已知风险检测:trace-based 框架取得最好的 precision-recall 平衡(F1=0.90),纯文本评测 recall 相同但误报多 5 倍。Phase 3 测未知风险发现,共发现 24 个新失败,功能测试与安全 red-teaming 的发现零重叠。作者结论是:评测 harness 能拿到的信息量决定评测质量;功能评测与安全评测互补;建议采用 trace-based 做功能评估、adversarial red-teaming 做安全验证的双框架策略。
为什么对 Agent Harness 有价值:它提醒「评测框架也是被测系统」。很多团队把 LLM judge 当成稳定 oracle,但 Phase 1 说明稳定性需要先验证,Phase 2 说明喂给 judge 的上下文形态(完整 trace 还是最终文本)会直接改变误报率。Phase 3 的零重叠则说明,只做功能回归会系统性地漏掉一整类失败。
建议重点看:Phase 1 的稳定性阈值与重复测量方法;Phase 2 的 72 例设计与 F1/误报对比;Phase 3 的 discovery 流程和 §5 的双框架建议。
适用标签:Trace 诊断 / 优化闭环
链接:论文
今日最值得读的 1 项
Veritas: A Verifier Generation Harness for Agent Tasks —— 它把 verifier 生成拆成 evidence header、领域规则库、authoring principles 三个可复用机制,并用固定模型下 7 个 harness 的 κ* 对照证明评测器质量主要是 harness 决定的;对没有官方 verifier 的任务,这是最能直接落地的一项。
本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注「未能核实」,不要补写猜测性指标或结论。