4040 字
20 分钟
Agent Harness 日报 · 2026-11-14

检索窗口:2026-11-07 至 2026-11-14 | 本期精选 5 项

版本状态:五项均为 arXiv v1(11-07 至 11-12 提交),未检索到 ACL/OpenReview/PMLR 正式版。MultiLoop 注明已被 NeurIPS 2026 CL4FMAgents Workshop 接收;AstroMemBench 声称代码与基准公开(本环境无法访问 GitHub,仓库内容未核实);ReA-Bench 表示将在去标识化与发布评审后开源。EvoX 与 AstroMemBench 的作者来自提供对应产品的机构,阅读其自评排名时需保留该偏差。

本期五项讨论的都是「评测结论凭什么成立」:跨 harness 对照时外部条件是否真的一致、轨迹审计该按什么证据层级拆、自动优化的收益到底来自结构还是提示词、记忆系统在动作后果上是否真的有用、架构复杂度是否值得那份 token 与延迟。

1. EvoX: Rethinking the Agent Harness as a Runtime Policy(2026-11-11)#

类型:论文(arXiv v1,技术报告,15 页;作者为 EvoMap Infinite Evolution Lab)

解决什么问题:模型的合理决策不总能变成成功执行——工具调用格式错配、可恢复失败被当成任务失败、以及「未实际验证就宣称完成」。作者认为这些不是零散异常,而是 harness 缺少一层显式的运行期控制;同时也指出跨 harness 比较的困境:统一内部提示与工具会抹掉被研究的机制,完全放开外部条件又会让比较无法归因。

核心方法或评测设计:EvoX 用「第二策略」区分语义策略(模型)与运行策略(harness),后者由模型侧引导 Γ 与确定性运行控制 Δ 组成,落到三个机制:Action Realization 做工具调用检测、schema 校验与有界参数归一化,不能恢复的调用直接拒绝而不是任意重解释;Execution Continuity 结合失败恢复引导、重复错误检测、运行时熔断与上下文压缩,在「还能纠正」与「无效重复」之间划线;Outcome Grounding 要求完成声明对齐到实际观测到的工具结果。

评测侧提出 Contrast:用显式公平契约把条件分成 locked(推理配置、输出上限、网络策略)、shared(模型身份、路由、执行预算)与 native(系统提示、工具接口、上下文管理、恢复策略),native 差异只记录不抹平;任务先过 Oracle 与 No-op 双控,模型调用经共享 Model Bridge 做请求级核验(区分「声明的配置」与「实际发出的参数」);执行后用证据裁决(scored / excluded / quarantined)把基础设施故障与 agent 失败分开;最终只在六方都有有效得分的公共 task–model 集上做配对比较。

实验覆盖 6 个 harness(EvoX、Claude Code、Codex、Hermes、Pi、Prime Agent)× 6 个模型(Opus 5、Sonnet 5、GPT-6 Astra、GLM-5.3、Kimi K3、DeepSeek V4 Flash)× 5 个基准(Aider Polyglot 28、GAIA 21、Harbor Index 28、SWE-Live 27、Terminal-Bench 2.1 28,共 132 题、4,752 个计划组合),落到 691 个公共 task–model 配对。EvoX 以 56.2% 居首,Pi 55.9%、Claude Code 55.3%、Hermes 54.4%、Prime Agent 50.4%、Codex 49.6%,其余五者均值 53.1%;优势集中在 GLM-5.3(+10.7)与 Kimi K3(+7.9),而 Claude Code 与 Codex 在自家模型上领先。

为什么对 Agent Harness 有价值:它把「harness 排名」变成了可审计的对照实验:公平契约说明哪些变量被锁、哪些被保留;请求级核验能发现「同模型名不同真实参数」这类隐蔽混淆;证据裁决避免把超时、环境坏掉算成 agent 失败。即使不采用 EvoX 本身,Contrast 的四段流程也可以直接搬来做 model×harness 矩阵。需要打折看的是:EvoX 由厂商自评,其 3 个百分点的领先在配对重采样下是否稳健,应看置信区间而不是排名。

建议重点看:§4.1 公平契约的三类条件划分;§4.3 Model Bridge 的 provider-bound 请求核验;§4.4 证据裁决与公共集配对统计;§5.3 harness–model 交互(为什么同一个 harness 在不同模型上符号会翻转);§3.3 三个机制的边界(哪些是确定性规则、哪些只是提示)。

适用标签:整体 Benchmark

链接:论文 | 项目页(Beta 产品页,含桌面端与终端安装入口)

2. ReA-Bench: Benchmarking Responsible Agent Auditing(2026-11-12)#

类型:论文(arXiv v1;基准将在去标识化与发布评审后开源,当前不可下载)

解决什么问题:轨迹审计(人工或模型回看 agent 的执行轨迹找风险)正在成为 harness 侧的一道防线,但现有评测用总体 recall 一个数概括,既看不出漏掉的是哪类风险,也看不出高 recall 是否靠把合法行为判成风险换来。更麻烦的是失败原因被风险类别掩盖:审计者可能是没在长轨迹里找到证据,可能是接受了证据不支持的结论,也可能是轨迹根本没记录判断所需的运行时状态。

核心方法或评测设计:把审计难度按「做出判断需要什么」拆成六层:L1 内部安全知识(6 个域、38 类风险,含静默覆盖、SSRF、CI/CD 注入等);L2 轨迹内矛盾(意图 / 证据 / 规范三类,要求矛盾双方都以原始形态出现);L3 证据稀释(纵向跨轮、横向大输出,并提供缩短版配对);L4 来源与推理核验(格式伪造、事实捏造、逻辑捏造);L5 间接引导(多轮布置材料让 agent 把违规当成必要步骤);L6 信息缺失(缺先验规则或运行时观测,并配「补齐信息」版本做前后对照)。

数据共 587 条轨迹:304 条风险样本、177 条良性样本、106 条对照版本;基础评测用 L1–L5 的 277 条风险样本加 177 条良性样本。良性样本是刻意构造的「难负例」——动作看起来敏感但在授权链与工具响应下合规,用来测假阳性。评测覆盖 8 种模型配置 × 5 种审计方法(Final Audit、miniCoT、Full-History Audit、Windowed Audit 与作者提出的 Global-Summary Audit),同时报 recall、假阳性率与审计成本。

为什么对 Agent Harness 有价值:审计器本质上是 harness 的 observability + verification 组件,这篇把它当成被测系统而不是评测工具。六层拆分给出的是「证据充分性」的操作化定义:判断所需信息在轨迹内、需要跨距离检索、需要核验来源、还是根本不在轨迹里。对做 trace 诊断或自动归因的团队,L3 的稀释配对与 L6 的补齐配对是两种很干净的消融设计,可以直接借用来区分「模型不会」与「证据没给到」。

建议重点看:§2.2 六层定义与「不假设严格难度序」的说明;§2.3 表 1 的样本构成(哪些层有对照版本、哪些没有);§3.1 五种审计方法读取轨迹的方式差异;§4 关于高频漏检风险与高频误报良性样本的分析;附录 A 的完整案例(尤其 L1 静默覆盖与 L6 远程 agent 执行)。

适用标签:Trace 诊断

链接:论文 | 代码/数据:论文称发布评审后开源,当前无公开仓库

3. MULTILOOP: Evolving Multi-Agent Harnesses for Complex Information-Seeking Tasks(2026-11-11)#

类型:论文(arXiv v1;Comments 注明已被 NeurIPS 2026 CL4FMAgents Workshop 接收)

解决什么问题:用编码 agent 读轨迹、诊断失败、改 harness 代码的自动优化循环,已经在单 agent 上被验证;但多 agent harness 的失败常出在「agent 之间怎么交互」而不只是单个 agent 的行为,改提示词未必能修好编排问题。作者要回答的是:这类循环能否诊断并修复多 agent 的结构性失败。

核心方法或评测设计:以 DeepSearchQA 的信息检索任务为案例,MultiLoop 是一个简单的循环:coding agent 反复分析执行轨迹、在验证集上评测、编辑 harness。只用 10 条训练样本。对照组包括:Search Agent(单 agent、仅搜索工具)、SPOT(加检索工具的单 agent)、以及未优化的多 agent harness(Orchestrator + SPOT 子 agent)。另做两项消融:只允许改提示词的多 agent 优化、以及对单 agent harness 同样施加优化循环。

结果:加工具使 SPOT 比 Search Agent 高 10.34%;朴素多 agent 反而比 SPOT 低 1.42%;MultiLoop 把多 agent 提到 71.88%,相对基线 +4.61、相对最佳单 agent +3.19。但失败模式分类显示,优化后的增益主要来自更严格的答案格式、程序化处理工具输出的指令,以及新增一个工具,而不是委派与信息共享结构的改变——多 agent 特有的编排失败基本保留。两个反向结果同样重要:只改提示词的多 agent 消融下降 2.65%,对单 agent harness 施加同样的循环则下降 3.15%。

为什么对 Agent Harness 有价值:这是对「eval-driven harness 优化」的一次诚实的收益归因。它说明验证集上的提升可以在不改变结构的情况下拿到,因此「自动优化有效」不能替代「优化到了哪个组件」。对做 harness 版本回归的团队,可复用的是它的失败分类前后对照:把编排类失败单列,才看得出优化是否真的动了结构。样本只有 10 条也是一个明确的外部效度限制,结论应读作案例而非普遍规律。

建议重点看:§4 的失败模式分类(优化前后对比表);§5 的消融(prompt-only 与单 agent 优化);表 1 中各 harness 的绝对分数;关于「新增工具 vs 结构改动」的定性分析。

适用标签:优化闭环 / Trace 诊断

链接:论文 | 代码:论文页未给出公开代码链接

4. AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents(2026-11-12)#

类型:论文 + 开源(摘要给出代码与基准仓库;本环境无法访问 GitHub,仓库内容未核实)

解决什么问题:Mem0、Chain-of-Memory、LightMem 这类记忆系统的实证评测仍主要跑 LoCoMo、LongMemEval 等对话型基准,衡量的是「能不能答出历史里的事实」。而在长时程具身任务里,记忆的价值体现在动作后果上:是否遵守仍然有效的指令、能否从中断处恢复、是否避开已过期的状态、以及在通信延迟与资源受限下做出安全决策。

核心方法或评测设计:用 Scenario–Challenge–Capability 方法把六类运行挑战(通信延迟、时间关键操作、环境不确定、复杂物理交互、资源约束、安全可靠)映射为 16 个记忆子挑战,落到 140 个模板、2,240 个实例、9 个任务(行星表面作业、在轨服务、深空探测)。每个实例先给 30 轮历史交互建立上下文,之后由确定性环境按任务完成、状态变化、安全条件与资源消耗打分——不依赖 LLM judge,因而同一轨迹可复现。消融设 9 种条件,分别动历史背景、会话边界与上下文窗口;主实验比较 6 种配置,以原生 Pi Agent 为基线,另接 RAG、Mem0、CoM、LightMem。

结果呈现明显的条件依赖:同会话下四种记忆/检索方案都高于原生 Pi,但三种记忆系统相对 RAG 没有清晰优势;跨会话重启后 Mem0 比 RAG 高 12.25 分。收益集中在指令保持与结果复用,而不是持续状态跟踪与能量预留——也就是说,「记住事实」与「记住该做什么、做过什么」在这类任务上不是同一种能力。

为什么对 Agent Harness 有价值:它把记忆评测从「问答命中」推到「动作正确」,并用确定性打分去掉了 judge 方差。会话重启这一协议尤其值得借用:同一实例在会话边界前后的分差,直接量化了持久化的净值,而不是把长上下文能力误记为记忆能力。9 种消融条件也提供了模板,用来判断某次记忆改动是提升了检索、还是仅仅扩大了可见上下文。

建议重点看:§3.1 SCC 方法与六个挑战到子挑战的映射;§4.2 历史输入与会话协议(重启如何实现);§5.1 九种消融(历史背景、会话边界、上下文窗口各自的影响);§5.2 同会话 vs 跨会话的对比表;附录 C 的等权聚合与配对重采样。

适用标签:Memory 评测

链接:论文 | 代码与基准:摘要给出 github.com/flyingView/AstroMemBench-v1(地址来自论文;当前检索环境无法访问 GitHub,仓库内容未核实)

5. Agent Architecture Cost-Success Trade-offs: A Controlled Evaluation across Enterprise-Style SOPs(2026-11-07)#

类型:论文(arXiv v1)

解决什么问题:企业在把 agent 用于标准作业流程(长、分支多、工具密集)时,要在单 agent、技能增强、集中式多 agent 编排、triage swarm 之间选型,但公开证据多是不同模型、不同任务的横向对比,架构本身的效果与成本被混在一起。

核心方法或评测设计:固定模型、任务与工具,只变架构,比较四种设计共 8 个 arm,跑 13 条企业风格 SOP。同时提出技能定义质量评分表,据此构造高质量与低质量两套技能语料,用来单独检验「技能写得怎么样」的影响。指标分两层:任务成功率(TSR)与成本(每任务 token、墙钟延迟、LLM 调用数)。

结果有三条:其一,没有普适最优架构,同一 SOP 上成功率从最难的小于 10% 到最容易的接近 100%,聚合层面没有架构能与基线统计分离,加结构只在复杂分支 SOP 上有方向性(未达显著)的收益。其二,协调型 arm 一律更贵——token 为单 agent 的 1.4–4.7 倍、延迟 2.6–5.8 倍,而收益通常很小且不显著;高质量技能把成功率从 67.4% 提到 73.1%,退化技能则跌到基线以下。其三,实现质量重于「单 agent 还是多 agent」:一个看似合理的多 agent 实现输给单 agent,针对性的重做却成为唯一显著超过基线的 arm(75.6% vs 67.4%,代价是 4.7 倍 token)。

为什么对 Agent Harness 有价值:它把「成本」当作与准确率并列的判定轴,并给出一个可复用的对照做法:先证明架构差异在聚合上不可分辨,再让成本成为稳健的分隔器。对 harness 工程的含义很直接——增加编排层、子 agent 委派或技能注入,都必须附带一份「多花了几倍 token、换来几个点」的账单;在显著性与成本都不支持时,单 agent 是合理默认。技能质量评分表也可以直接当作组件级 A/B 的构造工具。

建议重点看:§4.1 八个 arm 的构造与技能语料配对;§4.4 表 3 的 TSR 与 token/延迟倍数;§5 关于「实现质量 vs 架构选择」的对比;§6 对 SOP 依赖性的讨论。

适用标签:优化闭环 / 整体 Benchmark

链接:论文 | 代码:论文页未给出公开代码链接


今日最值得读的 1 项#

EvoX: Rethinking the Agent Harness as a Runtime Policy —— 它的主要产出不是又一个 harness,而是一套可审计的 model×harness 对照协议:公平契约把 locked/shared/native 条件写死,Model Bridge 核验真正发出的请求参数,证据裁决把基础设施故障与 agent 失败分开,最后只在六方都有有效分的公共集上做配对统计;691 个配对上「同一 harness 在不同模型上符号翻转」的结果,正是这套协议要防的误判。作者自评的 3 个百分点优势应打折看,但协议本身可以直接复用。

本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。

Agent Harness 日报 · 2026-11-14
https://blog.xqcherry.top/posts/ai/agent-harness-daily-2026-11-14/
作者
xqcherry
发布于
2026-11-14
许可协议
CC BY-NC-SA 4.0