2348 字
12 分钟
Agent Harness 日报 · 2026-11-11

检索窗口:2026-11-04 至 2026-11-11 | 本期精选 5 项

本期 5 项均为 arXiv v1 预印本;截至检索时未见正式发表版本。代码/项目页状态在各条单独标注。

本期的主线是“harness 到底在哪些环节产生差异”。成本、安全、失败轨迹、workflow 编排和记忆,分别对应 harness 的不同层:执行开销、权限与攻击面、诊断与改进、任务组织方式、经验留存。

1. System Optimizations for Cost-Efficient Agent Harnesses(2026-11-09)#

类型:论文(arXiv 预印本)

解决什么问题:现有研究常把 agent 表现归因于模型,harness 侧的差异更多体现在成本而不是准确率。作者要回答:不换模型、不改任务准确率,harness 层还能从哪里省 token、省 LLM 调用?

核心方法或评测设计:先分析多类 agent trace 的成本累积,定位到上下文读取、工具调用、工具输出冗长、文件系统搜索、独立子任务重复携带上下文等模式;再设计 Agency,一个可插在现有 harness(Claude Code、OpenAI Codex 等)上的 interposition 层,用统一抽象实现上下文压缩和 turn 缩减。评测覆盖 SWE-Bench、SWE-Bench Pro、Terminal-Bench 2、OfficeQA Pro 和 Transparency Test,报告端到端成本与准确率,并做消融。

为什么对 Agent Harness 有价值:它把“harness 优化”从 prompt 微调提升到系统层:哪些上下文该丢、哪些工具输出该压、哪些子任务该隔离,都能作为可插拔策略单独评估。论文给出的成本降幅最高 35%,同时强调不牺牲准确率;这类“成本—准确率”双指标,比只看 pass rate 更接近真实 harness 工程。

建议重点看:§3.2–3.6 的成本观察(尤其“工具输出信息稀疏”和“文件系统搜索导致工具调用膨胀”);§4.1–4.2 的 Agency 设计与优化技术;§5.2–5.3 的端到端结果和消融;Appendix A 的任务清单。

适用标签:优化闭环 / 整体 Benchmark

链接:论文 | 代码:论文页未给出公开代码链接

2. Harness Matters: Measuring and Dissecting Security Resilience in Web Agents(2026-11-09)#

类型:论文 + 开源(code-only 评测框架)

解决什么问题:Web agent 的安全不只取决于后端模型,还取决于 harness 如何解释目标、感知页面、规划动作、执行浏览器操作。但 harness 设计对安全结果的影响缺少系统测量。

核心方法或评测设计:把 web-agent harness 拆成四阶段执行流程(目标解释、页面感知、推理规划、动作执行),构建 WebTrap Farm,覆盖恶意用户提示、恶意 prompt injection、欺骗性网页设计三类攻击;用配对的 usability calibration 任务区分“真正的防御行为”和“能力不足导致的失败”。评估同时看 harness 与后端模型,并对阶段日志做安全归因,定位防御行为出现在哪一层。

为什么对 Agent Harness 有价值:它把安全从“模型拒答率”变成“harness 组件在哪个阶段失效”的可定位问题。配对校准任务是一个值得复用的设计:否则一个 agent 因为看不懂页面而没点恶意按钮,会被误判成“安全”。对做浏览器 agent、工具权限和沙箱边界的团队,这比单一攻击成功率更有诊断价值。

建议重点看:§III WebTrap Farm 的设计原则与评估协议(尤其 §III-A 的 usability calibration、§III-D 的 scoring/outcome label);§V 的阶段级安全分析;Appendix A 的攻击分类。

适用标签:整体 Benchmark / Trace 诊断

链接:论文 | WebTrapFarm(code-only,轨迹和结果库未包含)

3. Agent Self-Improvement with Frozen Weights: The Added Value and Limits of Failure Traces(2026-11-08)#

类型:论文 + 开源(代码/数据)

解决什么问题:固定模型权重时,harness 能否从 agent 自己的失败轨迹里学到“notes”,从而比不看失败轨迹的匹配搜索更好?作者要区分“失败轨迹本身的价值”和“反复尝试、保留高分 notes 这个过程”的价值。

核心方法或评测设计:用固定的 Qwen3.5-9B agent,由更大的 teacher 模型写 notes;在 τ²-bench retail 的决策级任务和官方对话、BFCL multi-turn 上做注册实验。关键对照是“看到失败轨迹”与“看不到失败轨迹的匹配搜索”;还用随机纳入的 lesson gate 和 BFCL 评测器的盲审做质量控制。结果是决策级任务上提升 4.0 个百分点,但单靠“尝试并保留更好 notes”的过程就解释了约 60% 的总提升;完整客服对话中没有显示出同样的提升。盲审还发现 240 个 tool-use 测试项中 146 个有缺陷。

为什么对 Agent Harness 有价值:它直接戳破“把失败 trace 喂给模型就会自我改进”的直觉。失败轨迹有增量,但很可能被搜索过程、评测器缺陷和任务分布放大。对做 trace 诊断和优化闭环的团队,这篇的注册实验、匹配对照和盲审设计,比结论本身更值得复用。

建议重点看:§2 Setup(固定权重、notes、匹配搜索的定义);§3 Results(4.0pp、60%、完整对话无提升);§4 What this means(边界解释);仓库的 reproduce.py、data/bfcl-audit/ 和 paper1/bfcl/。

适用标签:Trace 诊断 / 优化闭环

链接:论文 | 代码与数据

4. WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems(2026-11-09)#

类型:论文 + 项目页

解决什么问题:现代 agent harness 允许模型自己创建 worker agents、编写可执行 workflow 来组织它们。这样,“如何组织工作”本身成了一种能力,但现有 benchmark 要么只看端到端完成率,要么只评测预先指定好的协作结构。

核心方法或评测设计:定义 workflow orchestration 能力,构建 145 个长程任务,覆盖 8 个专业领域(软件工程、形式数学、法律分析、3D 制作等)。每个任务给初始 workspace 和由多个相互依赖组件组成的交付物,用隐藏 verifier 评分;agent 自主决定是否/如何委派,所有委派记录被保留,因此可以同时看交付质量和组织方式。实验覆盖 9 个模型,分析任务表现、资源使用、委派模式和 workflow 跨执行模型的迁移。

为什么对 Agent Harness 有价值:它把“多 Agent”从框架层口号变成可测量的组织能力:不只是最后有没有做完,还要看委派频率、worker 规模、领域差异和 token 成本。一个值得注意的结论是:把执行模型固定后,Claude Opus 5.5 编写的 workflow 能提升较弱的执行模型,说明 workflow 组织本身是独立于模型能力的变量。对做 multi-agent harness 和 workflow runtime 的团队,这提供了任务格式和评分协议。

建议重点看:§3.1–3.3 的任务形式、构造与评分协议;§4.2–4.5 的任务表现、资源使用、委派模式和 workflow 迁移;Appendix C 的任务评分标准;Appendix D 的资源计量。

适用标签:整体 Benchmark / Trace 诊断

链接:论文 | 项目页(论文页未给出代码链接)

5. Review the Episodes, Refine the Lessons: Simple Memory Evolution for Embodied Agents(2026-11-08)#

类型:论文(arXiv 预印本)

解决什么问题:具身 agent 的 harness 越来越复杂:后训练策略、递归自我改进循环、记忆模块。但在严格的信息协议下,前沿 MLLM 仅靠“自写文本记忆”能提升多少?这些额外结构是否真的超过了模型的原生能力?

核心方法或评测设计:提出 SimplEvo:不做权重更新、不加后训练策略、不使用特权信息;MLLM 从一次演示写一份 coordinate-free task memory,再只在训练 episode 上构建 bounded working memory,并在每个 episode 后按 procedure、completion、recovery 三类 lessons 精炼;测试时两份记忆固定。EBench 上 GPT-6-Astra 的直接控制成功率从 46.7% 提到 81.7%;RoboDojo 上达到 69.63% SR、75.32 分;与存视觉帧的记忆相比,纯文本记忆在相近 SR 下 token 更少,并能迁移到未见布局和更弱模型。

为什么对 Agent Harness 有价值:它把“记忆”拆成 task memory 与 working memory,并给出严格 train-test 协议和跨模型迁移实验。对 memory 评测的启示是:不能只看最终成功率,还要看记忆里存了什么、何时更新、是否依赖视觉帧、测试时是否真的冻结。它也提醒:有些“harness 增益”可能只是把演示信息写进了文本。

建议重点看:§3.1 严格信息协议、§3.2–3.3 两类记忆的构建与精炼;§4.2–4.3 EBench/RoboDojo 结果;§5.1–5.4 设计选择、泛化与跨模型迁移;Appendix B 的记忆示例、Appendix E 的扩展消融。

适用标签:Memory 评测 / 优化闭环

链接:论文 | 代码:论文页未给出作者代码链接

今日最值得读的 1 项#

System Optimizations for Cost-Efficient Agent Harnesses —— 它把 harness 成本优化从“调 prompt/换工具”提升到可插拔的系统层,并用跨 SWE-Bench、Terminal-Bench、OfficeQA 的实测说明:不牺牲准确率也能省下可观的 token 和调用。对自建 harness 的上下文管理、工具输出治理和成本回归测试,这篇的设计最直接可复用。

Agent Harness 日报 · 2026-11-11
https://blog.xqcherry.top/posts/ai/agent-harness-daily-2026-11-11/
作者
xqcherry
发布于
2026-11-11
许可协议
CC BY-NC-SA 4.0