检索窗口:2026-11-12 至 2026-11-19 | 本期精选 5 项
版本状态:Harnesses That Improve Themselves、Evolution Under Fire、Surfacing Disagreement、OfficePrism 均为 11-17 的 arXiv v1;Where the Evidence Lives 为 11-16 的 v1,已被 S2AI 2026(与 IEEE BigData 2026 同期)接收。五项论文页均未给出公开代码链接;Surfacing Disagreement 称发布 harness、攻击集与日志,页面未见地址,GitHub 亦无法访问,仓库内容未核实。
本期五项分别改 harness 的一处:改代码(自改进框架)、改安全约束(演化)、改记忆共享策略(保留冲突)、改任务包(搜索还是全 schema)、改 trace 导出(保留可诊断性)。共同的问题是改完之后,指标还能不能说明原因。
1. Harnesses That Improve Themselves: A Unifying Framework for Self-Improving Agent Harnesses(2026-11-17)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:agent 能不能干活,取决于模型之外的运行时软件:harness 管上下文与记忆、控多轮流程、在沙箱里执行工具、在停止前验证。模型不同、任务不同,静态 harness 容易卡住、烧 token 或在别的模型上退化。于是出现一类系统:读自己的执行轨迹,区分运行时 bug 与模型能力上限,然后改自己的代码。这篇要给这类工作一个统一框架。
核心方法或评测设计:把 harness 拆成四个可编辑组件——上下文与状态、agent 控制、动作接口、验证与恢复;把自改进拆成四阶段闭环——诊断失败、提出代码补丁、验证候选、部署更新。诊断阶段从轨迹里聚类验证错误、对比通过与失败轨迹;验证阶段要求新代码路径真的被执行、在留出集上不退步,并受 token 预算约束。作者据此解释了几个反复出现的机制:预停止验证器、循环打断、持久记忆;也解释了为什么整仓重写容易过拟合或跨模块破坏,而模块化更新加验证门控能在模型与仓库之间迁移、同时压住 token 成本。安全侧列出对 prompt 膨胀、benchmark 刷分、评估器篡改的防御:评估脚本与日志放在 agent 沙箱之外的只读存储。SWE-bench Lite 上的实验显示,带门控的模块化演化优于 prompt 反思与整仓重写,token 成本只是后者的一小部分。
为什么对 Agent Harness 有价值:它把「自改进 harness」从零散案例整理成可检查的组件与阶段,尤其是三条约束可以直接拿来当验收标准:补丁必须对应一个反复出现的失败簇;新代码路径必须在运行时被执行到;评估器必须在 agent 够不到的地方。对做自动优化闭环的团队,这比再讲一遍「让 agent 改自己」有用,因为它明确了哪些环节最容易假阳性。局限是框架性论文,实验集中在 SWE-bench Lite,缺少跨领域的对照。
建议重点看:四个组件与四阶段循环的对应关系;验证门控的三个条件(执行、非退步、预算);整仓重写与模块化更新的对照;对评估器篡改与 benchmark 刷分的防御设计。
适用标签:优化闭环
链接:论文 | 代码:论文页未给出公开仓库
2. Evolution Under Fire: Evolving Agent Safety Harnesses with Adaptive Injection Stressors(2026-11-17)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:工具型 agent 要处理来自邮件、网页、文档的不可信内容,恶意指令与合法任务指令走同一条通道。现有安全防御多是手工设计、静态不变,改进依赖反复人工重做。要自动化,就得同时解决两件事:搜索能兼顾安全与效用的 harness,以及在固定攻击集被防住之后继续找到新的攻击。
核心方法或评测设计:三阶段框架。先做效用约束下的、Pareto 调度的树搜索,从执行证据里演化完整的可执行安全 harness,任务模型、benchmark、工具与评估器全程固定;每个候选由一个只读 Diagnoser 看源码、指标与轨迹后给出诊断,再由 Expander 生成子代,未通过效用或执行检查的候选保留为反例但不能成为父节点。然后演化自适应 stressor:只改 benchmark 定义的对抗输入,用户任务、攻击目标、工具、环境与评估标准都不动;只有同时满足「用户任务完成」与「攻击成功」的 stressor 才被提升。被提升的 stressor 进入下一轮 harness 演化,作为额外的 Pareto 目标与资格要求。
结果:AgentDyn 配 GPT-4o-mini,演化出的 harness 把攻击成功率从 50.4% 降到 3.0%,同时干净效用从 45.0% 升到 46.7%、受攻击效用从 36.1% 升到 39.1%;Agent-SafetyBench 配 Qwen2.5-7B-Instruct,ASR 从 82.6% 降到 62.0%,保留 48.3% 有用性与 99.9% 运行时有效率。跨模型迁移:把 GPT-4o-mini 上演化出的 harness 直接用于 Qwen3.5-35B-A3B,ASR 从 32.1% 降到 0.9%,受攻击效用从 60.9% 升到 63.4%。
为什么对 Agent Harness 有价值:它把「安全 harness」当成可搜索的程序,而不是一组人工规则,并且用效用约束防止搜索走「把活干废就不危险」的捷径。stressor 的跨 harness 迁移(82 个里 43 个对四个接收 harness 都达成攻击目标)说明这类测试用例有复用价值。对做 agent 安全的团队,这个循环可以拆开用:先固定 benchmark 搜 harness,再用 stressor 找剩余弱点;只读评估器与固定语义是前提。局限是 benchmark 与攻击面都是人为定义的,ASR 下降不等于开放环境安全。
建议重点看:效用约束与 Pareto 调度如何阻止「牺牲任务换安全」;stressor 提升条件 U·A=1;stressor 反馈与无反馈对照的高安全尾部差异(17/560 对 146/560);跨模型迁移实验。
适用标签:优化闭环
链接:论文 | 代码:论文页未给出公开仓库
3. Surfacing Disagreement Beats Resolving It: A Gated Ablation Study of Provenance-Weighted Memory for Multi-Agent Debate(2026-11-17)
类型:论文(arXiv v1;未检索到正式发表版本;论文称发布 harness、攻击集与日志,页面未见链接)
解决什么问题:多 agent 辩论的共享记忆通常以「消解不一致」为目标:检索返回一条获胜事实,分歧在任何 agent 看到之前就消失了。作者问这个默认做法是否正确。
核心方法或评测设计:DebateGraph 让四个后端共享同一套读写与快照契约,使记忆文献里的五个机制能在固定预算下逐个移除,每个都按预先声明的阈值门控。39 次运行后只有一个机制存活:保留矛盾,并把排序后的冲突集传给辩论,而不是压成一个获胜者。效果是 F1 提高 0.340(95% CI [0.267, 0.414]),122 个投毒条目里的攻击成功从 22 降到 7(McNemar 精确检验 p=0.0003),成本不变。这个结果是在修掉一个 harness 瓶颈之后才拿到的:冲突集只建在已检索边上,预设上限让四分之三的植入矛盾不可检索,最初测出的效应只有 +0.084。效应在两个检索底座上复现,在 HotpotQA 文档上方向一致。其余机制没有一个存活,其中两个比不加更差:冲突进入 prompt 之后,写入信任门控与路由器的来源特征分别损失 0.075 与 0.096 F1。门控失败是结构性的:投毒对象总是图里已有的实体,而金标只有 53% 如此,所以 groundedness 会把谎言排在真实首次提及之前。
为什么对 Agent Harness 有价值:两个层面。结论层面,共享记忆不该默认替 agent 消解冲突,把冲突集带进上下文更有利于判断与抗投毒;方法层面,它示范了「先修管道再下结论」:同一机制在修掉检索上限前后差了三倍,如果不做这一步,会误判机制无效。对做多 agent 记忆或辩论 harness 的团队,gated ablation 的做法与「冲突集只覆盖已检索边」这个坑都值得记。局限是 39 次运行的规模,且冲突集的质量依赖图结构。
建议重点看:五个机制的逐个移除与门控阈值;冲突集构建的边范围与上限;+0.084 到 +0.340 的管道修复;写入信任门控为何在冲突可见后反而有害。
适用标签:Memory 评测
链接:论文 | 代码:论文称发布 harness 与日志,页面未见地址
4. OfficePrism: Benchmarking Agents on Single-Domain Operations Across Enterprise Business Functions(2026-11-17)
类型:论文(arXiv v1;未检索到正式发表版本;论文页未给出代码链接)
解决什么问题:宽口径的职场分数会把「单个业务职能内做得怎么样」与「跨职能、跨系统协调的额外成本」混在一起,失败难以定位。要测企业 agent,先得把单职能操作这一前置能力单独测出来。
核心方法或评测设计:420 个单域企业任务,覆盖七个业务职能,共用 benchmark 定义的 L1–L3 任务结构层级。每个任务在全新环境里跑:共享的合成组织加一个职能专属域与带类型的状态访问。构造流水线用有据可查的记录、业务规则与工具 schema 一起生成中文工单、隐藏的可执行参考见证与期望响应,再做自动过滤与人工筛选。同一套任务用两种包评测:全 schema 包与搜索—派发包。124 个模型–harness–包配置上,逐例的「自然语言 + 数据库联合通过率」从 22.6% 到 76.4%,中位数 67.9%;L1 在全部 124 个配置里最高,L2 在 122 个里高于 L3;50 个 harness 与模型标签都相同的配对配置里,搜索包 30 个更高、1 个持平、19 个更低。
为什么对 Agent Harness 有价值:它把「任务结构层级」当成独立变量:L1 到 L3 的落差在几乎所有配置里稳定存在,说明失败主要发生在结构复杂度上,而不是某个模型的特例。更有用的是包这一层:同一模型与 harness,只换工具暴露方式(全 schema 还是搜索—派发),分数在 50 个配对里有 30 个升、19 个降,说明工具接口设计本身就是一个需要单独评测的 harness 组件。对做企业 agent 选型的团队,这种单域加分层加双包的设计比一个总分更能定位问题。局限是合成组织与中文工单,外部效度需要真实企业数据复核。
建议重点看:L1–L3 的结构定义与逐层通过率;全 schema 与搜索—派发两种包的构造差异;50 个配对配置的升降分布;隐藏可执行见证如何判定联合通过。
适用标签:整体 Benchmark
链接:论文 | 代码:论文页未给出公开仓库
5. Where the Evidence Lives: Measuring Privacy and Diagnosability of Exported AI-Agent Traces(2026-11-16)
类型:论文(arXiv v1,6 页;已被 S2AI 2026 接收;论文页未给出代码链接)
解决什么问题:执行 trace 能帮人诊断 agent 失败,但共享 trace 可能暴露客户身份。这里有一个很具体的张力:要判断 agent 是否处理了错误客户的记录,需要知道记录属于哪个客户,但不需要知道这个客户是谁。常规脱敏会删掉修复所需的证据,却可能留下可恢复的编码标识。
核心方法或评测设计:一个可执行 benchmark,在合成多租户工作流里测两件事:trace 导出泄露了什么,以及一个修复程序能否据此恢复正确输出。比较多种导出策略,其中两种保留了归属比较:把匹配结果作为「比较事实」报告,或在每次执行内使用一致的假名。两种都保留了原诊断程序的修复能力,测试的标识匹配器都无法从任一导出里识别出被请求的客户。一个独立编写的程序在 42 个故障案例上,用比较事实时正确 39 个,用执行内假名时 42 个全对。行数仍然泄露身份:在已知客户行数的先验下,攻击者在 15 种导出策略下都能在 240 次执行里唯一识别出 97 次被请求的客户。从比较事实导出里移除若干计数器后,这个攻击被挡住,同时原程序的修复能力保留。
为什么对 Agent Harness 有价值:trace 导出通常被当成日志问题,这篇把它拆成两个必须同时满足的指标:可诊断性与不可识别性。对做 observability、事故复盘或跨团队共享 trace 的团队,结论很实用:直接删字段会同时删掉修复证据,比较事实与执行内假名是更好的默认;而行数这类元数据仍是旁路,需要单独处理。它也提示评测要成对报告「修复成功率」与「身份可识别率」,只报其中一项都会误导。
建议重点看:比较事实与执行内假名两种导出的字段差异;42 个故障案例上独立程序的修复结果;行数先验攻击的设置与 97/240 的结果;移除计数器后攻击与修复的同步变化。
适用标签:Trace 诊断
链接:论文 | 代码:论文页未给出公开仓库
今日最值得读的 1 项
Surfacing Disagreement Beats Resolving It: A Gated Ablation Study of Provenance-Weighted Memory for Multi-Agent Debate —— 它用一次 gated ablation 同时给出结论和方法教训:共享记忆保留冲突集比压成获胜事实多 0.340 F1,投毒攻击从 22/122 降到 7/122;而这个效应在修掉「冲突集只覆盖已检索边」的上限之前只有 +0.084。做机制消融时,先确认管道没有把待测机制挡在门外,比多跑几组基线更重要。
本文由每日研究速递任务自动整理。所有链接均应在发布前打开核对;无法确认的内容应标注“未能核实”,不要补写猜测性指标或结论。