3421 字
17 分钟
Agent Harness 日报 · 2026-11-20

检索窗口:2026-11-13 至 2026-11-20 | 本期精选 5 项

版本状态:AHE-Beta、Evaluating Governed LLM-Driven ML Experimentation、STEMBench、Keep the Image in Mind 为 11-18 的 v1;Reliability by Architecture 为 11-17 的 v1。Governed ML Experimentation 的 workshop 版本已在 KDD 2026 ETAAI(non-archival)报告,并给出代码与 1,445 条 trial 账本;其余论文页未给出公开代码链接,GitHub 无法访问,仓库内容未核实。

本期五项都在给 harness 加一层可核对的记录或约束:实验账本、用户需求单、领域指标、结构化工作区、确定性例程。共同点是,它们都试图让「做完了」「做好了」「为什么失败」变成可复核的事实,而不是一句声明。

1. Evaluating Governed LLM-Driven ML Experimentation: Lifecycle, Provenance, and Failure Metrics(2026-11-18)#

类型:论文(arXiv v1,22 页;KDD 2026 ETAAI workshop 版本,non-archival;论文页给出代码与全部账本 github.com/dowlingwong/autoresearch_harness,仓库内容未核实)

解决什么问题:让 agent 跑 ML 实验的系统,通常只用「达到的最好分数」评价。这个分数不说明它是怎么来的:有没有越权改文件、失败的 trial 是被保留还是悄悄丢掉、每次保留或丢弃能否追溯到证据。只看结果,过程里的失败会整段消失。

核心方法或评测设计:把控制权放在控制平面而不是提出改动的 LLM 手里。控制平面拥有每个 trial 的生命周期:执行前写 pending guard,按 NodeSpec 白名单校验补丁是否越权,训练后决定 keep 或 discard,并把每个 trial 追加成一条 JSONL 账本记录,含提案摘要、补丁与日志引用、指标、有效性状态、决策、失败类别、provenance ID 与可复现哈希。生命周期不变量是:每个进入 executing 的预算槽,必须在下一个槽打开前恰好写一条终态记录(kept、discarded 或 failed_invalid),崩溃时由 guard 文件与恢复脚本补记。治理指标——无效动作率、重复坏提案率、provenance 完整度——全部从账本算出。

六个 ML 任务、1,445 个 trial 用同一套契约跑完,provenance 完整度 100%。账本暴露了任务分数会掩盖的失败:一个 no-memory 臂 120 个 trial 全部失败;一个 benchmark adapter 的有界提案耗尽;一次 reset 失败由可复现哈希发现,相关 campaign 随后重跑。匹配对照里,只记录成功 trial 的循环在 50 个 trial 中漏掉 43 个(一个臂 30/30 全漏,另一个 13/20),治理账本 50/50 全记。

为什么对 Agent Harness 有价值:它把「日志」提升为评测的一部分:没有账本,失败率、越权率、重复犯错率都无从计算,campaign 甚至可能和「从未运行」无法区分。三条设计可以直接搬:控制平面而不是模型拥有生命周期;越权补丁在训练前拒绝并记录;终态记录的结构不变量保证不丢槽。对做自动实验、自动优化闭环的团队,这份账本格式是可以直接复用的最小骨架。局限是单作者、workshop 规模,账本来自特定 campaign。

建议重点看:trial 生命周期状态机与「一槽一记录」不变量;scope validator 的白名单校验;表 9 的治理/非治理对照;三个治理指标的定义与计算方式。

适用标签:Trace 诊断

链接:论文 | 代码与账本:github.com/dowlingwong/autoresearch_harness(未核实)

2. Agentic Harness Engineering Beta: Requirement-Centered Evolution of Agent Harnesses(2026-11-18)#

类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:harness 演化通常由一个演化 agent 改代码、用 benchmark 分数选改动,容易产出只对某个任务有效的窄补丁,落到 benchmark 特定的局部最优。真实 harness 工程由显式和隐式的用户需求驱动,而现有方法既不收集交互中才出现的需求,也不用需求做选择。

核心方法或评测设计:三步需求中心循环。其一,用户驱动评测:50 个 persona 构成的用户模拟器在多轮会话中使用当前 harness、随时提 issue、结束时给评分,并用 goal ledger 记录新增目标与修改理由。其二,团队式修改:Triage 过滤 issue 并改写成与具体任务无关的需求,Architect 合并同根因需求,PM 从评分与总结里提炼产品需求文档,Developers 写 RFC、拆任务、开 PR。其三,需求驱动选择:只有能解决被验证需求、且通过设计评审与代码评审的 PR 才合并,全程不查 benchmark 分数。

在 38 个留出的 Harbor-index 任务上,pass@1 从 21.9% 升到 33.3%,每任务 token 从 2.40M 降到 1.42M(少 40.8%),高于 Claude Code(27.2%)、AHE(23.7%)与 Meta-Harness(21.1%);用户评分从 2.59 升到 3.04。48 对盲测里真人用户偏好 AHE-Beta 31 次,五个维度全部更高,方向与用户模拟器一致。带交互的演化版本在留出集上 28.9%,不带交互 23.7%,且少用 45.7% token。不改动直接迁移到 GLM-5.3 与 DeepSeek-V4.1-Flash,pass@1 分别再高 15.8 与 5.3 个点。

为什么对 Agent Harness 有价值:它把「选择信号」从分数换成需求,并且用真人 A/B 验证了模拟器给出的方向,这一点比多数自演化工作扎实。对做 harness 迭代的团队,三条实践可直接借:需求必须绑定会话证据、且写成与任务无关的机制描述;评审门控与合并提交绑定到当前 head;PR 合并不看 benchmark 分数,避免把评测集当训练目标。局限是 persona 与模拟器仍是代理,六轮演化、38 个任务的规模也有限。

建议重点看:需求与 issue 的改写规则;准入评审与代码评审两道门的判定;带/不带交互的对照(28.9% vs 23.7%);盲测表 1 的五个维度变化。

适用标签:优化闭环

链接:论文 | 代码:论文页未给出公开仓库

3. Benchmarking LLM abilities on postdoc-level natural science problems(2026-11-18)#

类型:论文(arXiv v1,22 页;未检索到正式发表版本;论文称发布任务、评分器、锚点与 harness,页面未给链接)

解决什么问题:科学问题没有标准答案,评测 agent 等于在跑之前先决定什么算更好的解。现有 benchmark 要么对符号答案,要么用单元测试、评分表或竞赛名次;这些都不是一个领域判断「一个已发表方法优于另一个」时用的标准。

核心方法或评测设计:STEMBench 直接用领域自己的 figure of merit。12 个研究问题分布在高能物理、天体物理与神经科学,每个问题配两个实测锚点:一个不使用领域知识的提交,和一个复现已发表方法的专家参考,两者都由 benchmark 随附代码跑出来。两个锚点之间的区间,标出这个问题里有多少靠科学洞察、多少靠工程实现。八个前沿模型参与;任务级胜负与领域级领先被分开报告,数值分数与官方提交有效性也分开报。

结果:任务级与领域级会脱钩——一个模型在 12 个任务里赢 5 个,却不领先任何领域的均值。高投入的跨模型比较里,至少有一个模型的平均分在 12 个任务中的 7 个超过专家锚点;剩下的 5 个集中在不确定性估计、潜变量与因果推断、跨站点临床分类。作者据此认为,单看名次不如看「相对两个锚点落在哪」。

为什么对 Agent Harness 有价值:多数 agent benchmark 的争议在评分器,这篇把评分器换成领域指标,并用两个可执行锚点给出可解释的上下界。对做评测设计的人,锚点法比再写一个 rubric 更稳:下限排除「不懂领域也能蒙对」,上限说明「复现已发表方法要到什么水平」。它也提醒,任务级胜负不能直接外推成领域能力。局限是 12 个问题的覆盖面,以及部分领域指标本身仍有实现选择。

建议重点看:两个锚点的构造与执行方式;12 个问题的领域指标定义;任务级与领域级脱钩的分析;五个未超过锚点的问题类型。

适用标签:整体 Benchmark

链接:论文 | 代码:论文称发布任务与 harness,页面未见地址

4. Keep the Image in Mind: A Visual Board for Multimodal Agents(2026-11-18)#

类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:多步视觉推理里,早期的视觉误读会作为错误前提留在后续推理中。作者认为,视觉证据在推理过程中怎么表示,和收集了多少同样重要;把观察与推断不断追加到对话里,前提会越来越难核对。

核心方法或评测设计:用一个以 Visual Board 为中心的结构化工作区,把视觉观察、不确定的解释、推导出的结论分开放,容量有上限且可修订。这样每个前提都显式、可审计,看到的内容与推导出的内容之间的冲突连纯文本 critic 都能发现,并触发对原图的定向复查。不做任务特定训练。在 4B、8B、Qwen3-VL-Flash、32B 四个配置上,于 Euclid30K、SolidGeo、ChartQA 柱状图上稳定超过独立模型,最高分别提升 11.68、18.42、24.82 个百分点;在工具、critic 与交互次数相同的条件下,比共享的自由文本笔记高 6.67 到 13.00 分,比没有 Board 的重试高 7.35 到 18.80 分,同时少用 7.9% 到 38.2% 的 token。用 harness 轨迹做监督微调后,直接回答与无 critic 的工具使用也提升,并正向迁移到图表推理。

为什么对 Agent Harness 有价值:它把「工作记忆的结构」做成了可评测的 harness 组件:同样的工具与 critic,只改证据的组织方式,就能拿到两位数提升并省 token。对做多模态 agent 或长上下文推理的团队,可借的是三分法(观察、解释、推导)与冲突触发的复查,而不是某个具体界面。局限在视觉推理任务,容量上限与冲突检测规则仍要按领域调。

建议重点看:Board 的三类条目与容量边界;冲突如何被纯文本 critic 检出并触发复查;与自由文本笔记、无 Board 重试的两组对照;SFT 后的迁移结果。

适用标签:Memory 评测

链接:论文 | 代码:论文页未给出公开仓库

5. Reliability by Architecture: Agentic Workflows for Validated Multi-Physics Simulation from Natural Language(2026-11-17)#

类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)

解决什么问题:准备、执行并验证强耦合多物理场仿真很耗专家时间。用 LLM 从自然语言协调这条流程,可靠性取决于物理一致性与对问题描述的忠实度;把这些都交给模型,错误会直接进入仿真输入。

核心方法或评测设计:harness 做显式任务分配:LLM 负责理解用户请求与仿真器诊断、生成规则覆盖不到的输入组件、提出修复;确定性例程负责构造受支持的组件,并检查输入、编辑与结果。用 GEOS 跑 CO2 封存问题,从组分流到带摩擦断层的流固耦合,共 80 次尝试、两个流动问题。加入 grounding 后,结构有效输入从 5/20 升到 20/20;但只有完整的规则化输入准备才让接受率达到 20/20。相同输入下,局部修复能改掉三个人为植入的缺陷,同时保留原本有效的输入。作者还用配套测试找出「通过物理检查、但与问题描述或参考结果不一致」的仿真。

为什么对 Agent Harness 有价值:它给出一种分工范式:生成归模型,构造与校验归确定性代码,两者之间用显式接口连接。对高风险领域(仿真、金融、运维),这比让模型既写又验更可控;「通过检查但不符合描述」这一类也需要单独的测试,而不是只看物理约束是否满足。局限是单一仿真器与两个流动问题,规则化准备的成本没有展开。

建议重点看:LLM 与确定性例程的职责边界;grounding 前后有效输入的比例;局部修复的实验设置;配套测试如何区分「物理通过」与「描述一致」。

适用标签:优化闭环

链接:论文 | 代码:论文页未给出公开仓库


今日最值得读的 1 项#

Evaluating Governed LLM-Driven ML Experimentation: Lifecycle, Provenance, and Failure Metrics —— 它证明「只记录成功」会让 50 个 trial 里的 43 个消失,而账本把一次 120 个 trial 全失败的臂、一次 reset 失败都留成了可复核的记录。控制平面拥有生命周期、越权补丁在训练前被拒、每个预算槽恰好一条终态记录,这三条是任何自动实验 harness 都能直接照搬的最小治理骨架。

本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。

Agent Harness 日报 · 2026-11-20
https://blog.xqcherry.top/posts/ai/agent-harness-daily-2026-11-20/
作者
xqcherry
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0