3734 字
19 分钟
Agent Harness 日报 · 2026-11-18

检索窗口:2026-11-11 至 2026-11-18 | 本期精选 5 项

版本状态:SilentGuard、Harness Leverage 与 DetourBench 为 11-16 的 v1,DetourBench 已被 NeurIPS 2026 Workshop(Evaluation of Interactive Agents)接收;StaleBench 为 11-15 的 v1,已被 EACL 2027 Findings 接收。BOBA 为 11-01 的 v1,落在七日窗口之外,此前未推送,本期作为「链式任务与验证」方向补充收录,日期按实际提交标注。四项给出 GitHub 地址,当前环境无法访问 GitHub,仓库内容未核实。

本期五项都在问同一个问题:harness 和评测该信什么。工具返回的 200 与数字、进程的退出码、任务的终点状态、记忆里排第一的那条、agent 自己说的「做完了」,每一项都可能是错的,而错的代价由下游环节承担。

1. Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures(2026-11-16)#

类型:论文(arXiv v1;未检索到正式发表版本;论文页给出代码与数据集 github.com/Sajib-006/silentguard、huggingface.co/datasets/Sajib-006/AgentOrchBench,仓库内容未核实)

解决什么问题:agent 靠调用 API 回答问题,并默认返回值可信。API 可以静默失败:忽略请求里的一部分,比如拼错的过滤条件,却仍返回 HTTP 200 和一个看起来合理的错误结果。现有做法是让模型自己发现——checklist、reviewer 模型、LLM judge——但模型经常看见了问题还是照答。

核心方法或评测设计:SilentGuard 把决定权从模型移到执行工具调用的 harness。它为每个结果套用「任何正确 API 都必须满足」的不变量:过滤计数满足 N(F) + N(F<k ∧ ¬Ck) = N(F<k),列表结果每条都符合过滤条件、无重复、条数与报告的总数一致,请求参数必须在 API 公布的列表里;没有精确不变量时,用干净响应学出的契约做检查,并按干净样本数估计误报率。失败后重查一次;失败的是精确检查,就扣下这些值,告知 agent 哪些值未经验证、可以用哪个工具重做;失败的是学出来的检查,只给警告。全程不额外调用模型,也不自行修复数值,必要时直接回答「无法确定」。

测量结果:15 个公开研究 API 里 11 个存在至少一种静默失败,计数最多虚高 691 倍;agent 会报告 judge 标记为可疑的计数中的 77.4%。7 个开源模型上,SilentGuard 把目标故障下的错误答案从 74.0% 压到 1.7%,无故障任务的正确率保持 84.9%;3 个前沿模型上从 70.2% 降到 0.5%。只给同样的警告仍有 70.1% 答错;在方法冻结后新写的六类故障上,仅靠 harness 也只能把错误率从 61.1% 降到 24.5%。

为什么对 Agent Harness 有价值:它把「证据」和「执行」分开测了一遍:判断结果可疑并不难,难的是让这个判断真正拦住答案。表 2 的四格很能说明问题——judge 看到检查结果但不拦截,仍有 71.2% 答错;拦截但不给证据,70.8% 答错;两者都有,6.1%。对 harness 工程,这是「工具层做确定性校验、失败就扣值」的一个完整样板,不变量也比「让模型再想一遍」便宜且可复现。局限是它靠弃答而非恢复,遇到自洽的谎或藏在 query string 里的过滤条件会漏。

建议重点看:表 1 的检查类型与对应故障;π(r) 的 release/withhold/warn 三态与 1% 阈值;「证据 vs 执行」的四格消融;真实 API 上文档有误时的 spec check 结果。

适用标签:Trace 诊断

链接:论文 | 代码:github.com/Sajib-006/silentguard(未核实)

2. Harness Leverage Across Model Size: A Ladder of Five Local Agent Harnesses from 0.75B to 4.7B(2026-11-16)#

类型:论文(arXiv v1,56 页;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:harness 对比固定模型,模型对比固定 harness,两边都无法回答「小模型配上不同 harness 会怎样」。而实际部署常常是本地小模型加一个现成 harness,谁在决定任务有没有完成,直接决定分数。

核心方法或评测设计:同时变化两边:5 个已发布的 harness、18 个产出制品的任务、4 个本地可部署开源模型(0.75B 到 4.7B)加一个 35.5B 锚点,共 360 个梯格,全部由一个确定性 checker 评分。控制完成判定的 harness(Mingbird)在每一档规模上均值最高;4 个预注册配对比较里有 2 个通过 Holm 校正(0.75B 与 4.7B),16 个配对区间有 13 个排除零,领先幅度从 0.075 到 0.819。

更关键的发现是 harness 效应落在「进度」而不是「判定」:关掉全部 6 个可执行检查,均值只变 +0.080、+0.117、+0.003、−0.004,区间都含零;但删掉一条阻止重复的规则,0.75B 上分数掉 0.411,18 个任务里有 8 个没留下任何制品。357 个有效格子里 127 个没有产出声明的制品,其中 85 个是正常退出——按退出码评分的 scorer 会把没写盘的活算成完成。

为什么对 Agent Harness 有价值:它把「harness 帮助小模型」拆成具体机制:不是 completion gate 在加分,而是防止重复、保证跑完并落盘。对评测,最直接的一条是必须检查制品是否存在,而不是读退出码;127/357 的空跑比例说明这不是边角情况。对 harness 设计,小模型上的收益主要来自流程控制,而不是提示词或完成判定,这给本地部署选型提供了一个可复现的梯子。四档规模还不足以判断效应随规模变大还是变小,作者自己也标了这一点。

建议重点看:18 个任务的制品定义与 checker;Mingbird 的重复阻止规则;关掉 6 个检查与删掉 1 条规则的对照;127 个空跑格子的退出码分布。

适用标签:整体 Benchmark

链接:论文 | 代码:论文页未给出公开仓库

3. DetourBench: Trajectory-Level Evaluation of Interactive Agents with Exact Minimum-Action Bounds(2026-11-16)#

类型:论文(arXiv v1;已被 NeurIPS 2026 Workshop(Evaluation of Interactive Agents)接收;论文页给出代码 github.com/DatagridsAI/DetourBench,仓库内容未核实)

解决什么问题:benchmark 主要看 agent 有没有到达正确终态,不看它是怎么到的。终点评分分不清「只取了决策所需的证据」与「把环境读了大半」,也分不清「根本没找到证据」与「只差一步就完成」。要区分这些,需要一个参考成本,而作者写的参考解只能证明任务可解,不能证明没有更短路径。

核心方法或评测设计:把环境约束成有限、部分可观测、访问单位成本的转移系统,资源在被发现后全局可达。穷举搜索得到全信息最小动作数 L0 与可回放的见证轨迹;对图可恢复的终态再算出精确剩余工作量 R_T,把「差一步」与「漫游」分开;不可逆的错误承诺记为没有有限剩余距离,而不是硬给一个数。指标分开报:成功率、条件达成率 A = L0/C、剩余进度 P = 1 − R_T/L0、归一化绕路 NDR = (C + R_T − L0)/L0,以及 RSR(无效访问与状态不变的重复访问占已派发访问的比例)。实验是 25 个任务 × 5 个模型端点 × 3 次重复,共 375 个 episode。

结果:成功率 58.7% 到 96.0%,条件达成率 0.803 到 0.890,两者给出的排序不同——GLM 成功率最低,条件达成率却高于 DeepSeek 与 Qwen。99 个失败里 95 个耗尽访问预算、2 个停在可恢复状态、2 个进入不可逆错误状态;任务 18 上,六个失败被拆成「差一次访问」「进度 0.85–0.95 耗尽预算」「不可逆承诺」三类。另有 8 个任务被所有模型三次都做对,仅条件达成率的差距就有 0.074 到 0.190。

为什么对 Agent Harness 有价值:它给「无效探索」提供了可计算的参照,而不是又一个主观评分。RSR 只能抓明显的重复与无效调用,NDR 还能抓到合法但多余的探索;两者排序不同,说明只看重复率会漏掉规划层的浪费。对做上下文压缩、工具裁剪或规划改动的团队,这套指标能把「成功率不变但步数涨了」量化出来。局限是语义精确性只在四个任务上被执行验证,全信息 oracle 也没扣除「先看对相似项」的优势。

建议重点看:L0 与见证轨迹的构造;R_T 在可恢复终态上的定义;任务 18 的失败分解;A、NDR、RSR 在同一批成功 run 上的排序差异。

适用标签:Trace 诊断

链接:论文 | 代码:github.com/DatagridsAI/DetourBench(未核实)

4. StaleBench: Isolating Stale Retrieval in Agent Memory, and Pricing the Fix(2026-11-15)#

类型:论文(arXiv v1;已被 EACL 2027 Findings 接收;论文页给出代码与数据 github.com/thenexuslab/stalebench-release,仓库内容未核实)

解决什么问题:agent 长期存事实,同一事实会攒下多个版本。问「X 现在在哪支队」时,相似度检索无法偏好当前版本,因为每个版本都匹配查询里的实体。更麻烦的是,现有检索指标可能把记忆策略排反。

核心方法或评测设计:StaleBench 用 892 条真实更新事实隔离这种过期检索,货币标签来自数据源(Wikidata 的有效年份,经 TempLAMA),不来自检索分数。除 current@k 外,作者加了 contamination@k:top-k 里是否同时出现当前版本与过期版本。再用同一批查询测读者准确率,把污染的代价量出来。实验比较保留策略与其「全保留」对照、三个已部署系统(Mem0、Graphiti、LangMem)与一个重实现的 ERASE;另做去掉语句词汇锚点、以及在写入路径与查询两侧做实体解析的对照。

结果:一个保留策略与它的全保留对照,在每个测试查询的 rank 1 返回完全相同的语句,但在不显示日期时,两个读者上的准确率差 29.5 与 65.6 个百分点;contamination@5 能在 current@1 与 current@5 分不开的地方把两者排对。去掉语句携带的词汇锚点,会让已部署的键控机制掉几十分的新鲜度;写入与查询两侧都做实体解析能补回大部分损失。四个系统处理「取代」的方式各不相同,没有一种评分约定能同时描述它们。

为什么对 Agent Harness 有价值:记忆子系统的评测常报 current@k 或召回,这篇说明这些指标在「多版本同名实体」上会失效,甚至反向排序。对 harness 的含义是:记忆的读路径需要显式的货币判断(日期、取代链),而不是把相似度当代理;评测则要同时报污染率与读者准确率。contamination@k 是一个可以直接搬进现有记忆评测的指标。局限是事实域以 Wikidata 为主,长对话与多跳依赖没有覆盖。

建议重点看:contamination@k 与 current@k 的定义差异;保留策略与全保留对照为何在 rank 1 上完全相同;去掉词汇锚点与实体解析的两组对照;四个系统在取代处理上的差异。

适用标签:Memory 评测

链接:论文 | 代码:github.com/thenexuslab/stalebench-release(未核实)

5. Built on Broken Assumptions (BOBA): Why Coding Agents Cannot Be Left Alone(2026-11-01)#

类型:论文(arXiv v1,窗口外补充,此前未推送;未检索到正式发表版本;论文页给出基准、数据与代码 github.com/amazon-agi/BOBA-bench,仓库内容未核实)

解决什么问题:coding agent 会被当作自主开发者,连着处理一串前后依赖的请求。但 benchmark 仍是一次一个请求、在人类写的代码上、只检查一次。agent 已知会把没做对的工作报告为完成,链式场景会把这个问题放大。

核心方法或评测设计:BOBA-Bench 含 280 条链、每条 20 个连续请求,取自 140 个真实开源项目;十个 coding agent 同时跑单请求与链式两种设置。作者把「代码是谁写的」与「代码是否被验证过」分开,另做跨模型 review 实验:每个模型审 2,180 个条目,其中 109 个是作者写错的实现,各配一个同请求的正确实现。

结果:单请求平均完成 95%,串成链后只有 51%。原因不是代码更差——一旦经过验证,agent 的代码作为后续请求的基础几乎和人类代码一样好(十一模型平均差 1 个百分点);原因是 agent 自己没抓到的错误,下一个请求会在坏代码上继续,失败率约为两倍。让 agent 事后 review 也救不回来:判断实现是否正确只有 53% 正确率;宽松的 reviewer 接受 77–95% 的错误实现,严格的拒绝 41–58% 的正确实现,配对判别率 Youden J ≤ 0.15。一次外部的「这里错了」加一轮修复,把链完成率从 51% 提到 59%,被修掉的错误不再拖累后续请求。

为什么对 Agent Harness 有价值:它把「完成声明」这个 harness 最常信任的信号证伪了:自测通过不等于正确,自我 review 接近抛硬币。可行的替代是外部验证通道——独立测试、外部检查或更强的 verifier——并且要在链的每一环接上,而不是最后总检。对评测,单请求分数会系统性高估链式部署;对 harness,验证入口的可达性决定了可靠性上限。样本是 280 条链、十个 agent,结论对具体模型仍需按版本复核。

建议重点看:链式与单请求的对照设计;验证状态与作者身份的分离分析;跨模型 review 的 Youden J 与接受/拒绝率;外部纠正加一轮修复的实验设置。

适用标签:优化闭环

链接:论文 | 代码:github.com/amazon-agi/BOBA-bench(未核实)


今日最值得读的 1 项#

Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures —— 它用一个干净的四格实验说明:让模型「注意点」没有用,让 harness 拿到证据但不拦截也没有用,只有「有证据 + 直接扣下不合格的值」才把错误率从 74.0% 降到 1.7%。不变量检查是确定性、零额外模型调用的,任何做工具层的 harness 都能照着实现。

本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。

Agent Harness 日报 · 2026-11-18
https://blog.xqcherry.top/posts/ai/agent-harness-daily-2026-11-18/
作者
xqcherry
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0