AI智能体基准测试、架构进化与记忆遗忘失败

在本周发布的智能体论文中，主导性创新并非更大的模型，而是附加在现有模型上的更智能架构。Harmony Harness 将架构本身视为多目标优化目标，将通用机制与特定基准的适配分离开来 ^[1]。Harness^2 通过对比式的提出-探测-组合循环递归优化提示与工作流，无需任务特定的验证器 ^[2]。ClawLoop 完全在沙箱内训练，自主生成任务与反馈，无需外部教师模型 ^[3]，而HarnessNet表明，即使完全更换底层基础模型，架构层面的增益依然存在——证明当前能力的来源是架构而非权重 ^[4]。一篇配套的理论论文将此形式化为独立研究对象，证明在模型权重冻结的情况下，对提示与工具进行持续、反馈驱动的修改仍可获得泛化界 ^[5]。独立报告证实了这一效应的规模：仅重写智能体架构就使Terminal-Bench得分从69.7%提升至77%，类似方法在SWE-bench Verified、Terminal-Bench 2、GAIA和AppWorld上实现了15-50%的相对增益，且无需重新训练模型 ^[6]。但一个在r/LocalLLaMA上独立提出的批评指出，几乎没有任何基准能将架构效应与模型效应分离开——因此排行榜的胜利仍无法说明是模型还是其架构应得赞誉。

本研究中最显著的负面结果：当研究人员构建首个专门针对LLM智能体记忆遗忘的基准测试时，六种主流记忆系统中无一能在端到端流程中正确处理超过1.5%的用户遗忘请求——智能体要么顽固保留用户要求删除的内容，要么删除远超预期的信息 ^[7]。第二项独立构建的基准测试将TOFU遗忘套件扩展至工具使用与持久记忆领域，同样发现模型级遗忘与系统级智能体遗忘之间存在结构性差距 ^[8]。这一差距加剧了另一项关于隐私泄露的发现：能力更强的智能体在多轮对话中泄露更多私人信息，而非更少，六轮对话相比单轮对话的泄露量最多增加3倍，且具有可见思维链的推理模型比非推理模型泄露更多 ^[9]。综合来看，本周期的研究重点是教会智能体积累语义与情景记忆——这正是IBM Technology自身解释性内容所强调的智能体运行所必需的能力——而与此同时，按需选择性清除这些记忆的并行机制，根据这些基准测试，本质上仍未解决。

三篇论文汇聚于同一令人不安的模式：多智能体失败在越深入检查时显得越严重。一个简单的规则——将责任归于最后一步——在典型失败日志中已有67-96%的正确率，意味着大多数归因主张只是在与一个弱基线竞争；一旦将失败限制在可通过重放独立验证的情况，性能便崩溃至随机水平 ^[10]。BLADE通过审计信息在每次交接中的使用方式而非仅追溯来源，回应了这一问题，在1,228次失败运行中无需真实答案，其步骤准确率领先七种竞争策略2.2-11.1个百分点 ^[11]，这一框架被外部研究呼应，认为归因需要完整的执行轨迹，而不仅是最终输出，才能接近可靠 ^[15]。一项涵盖约29,000次执行的通信故障大规模实证研究发现，20.7%的故障不留下任何即时检测信号（对于内容被篡改而非直接丢失的故障，这一比例升至76.2%），且扁平的对等工作流在这些故障下的存活率远高于层级或顺序工作流（故障下成功率为53.0% 对比 3.2-3.3%）^[12]。即使智能体未完全失败，它们也常解决错误问题：一项基于真实编码智能体对话记录的基准测试发现56%的初始指令遗漏必要要求，而当提示中缺失必要规范时，前沿模型的成功率下降53-67分 ^[13]，而一项重放攻击研究发现，在约三分之二的跨任务试验中，智能体将正确的工具结果误用于错误的执行上下文 ^[14]。这正是IBM Technology自身基准解释内容直接指出的张力——排行榜分数与现实可靠性之间的差距。

本周一组训练论文以五种互不相关的机制攻击同一瓶颈——多轮智能体强化学习中的稀疏、延迟奖励，这比任何单一机制本身都是更强的信号。PEARL 从过往成功与失败中聚类重复决策模式，以在无需额外评判模型的情况下精化信用分配，在4B规模的ALFWorld上达到97.9%的平均成功率 ^[16]。PTGPO 在轨迹后缀上构建前缀树，并根据子分支与父分支经验回报的差距分配信用，同样无需评判模型 ^[17]。VH-GPO 采用师生方法：教师将卡住的学生救援至可恢复状态，然后交还控制权，使最终成功归因于学生自身的策略，使1.5B模型在ALFWorld上的成功率从59.38%提升至94.79% ^[18]。Adaptive-Group Process Rewards 将GUI轨迹划分为子目标组，并在动作与组级别评分，以专门解决该领域的稀疏奖励问题 ^[19]。而EAU更进一步，将训练环境、奖励设计和用户模拟器本身视为可在运行中共同进化的组件，使整体得分比先前的RL方法提高14.7-15.0% ^[20]。这五种独立开发的机制共同证明，仅依赖结果的奖励现在被整个领域视为不足的训练信号。

当学术界仍在争论如何衡量智能体可靠性时，商业工具已将未解决的部分打包为产品。CopilotKit的CLiF将生产环境中的实时智能体轨迹与用户操作直接转化为技能、评估与微调数据 ^[21]，明确针对那些智能体在演示中表现良好但部署后难以执行一致端到端任务的团队 ^[22]——这正是本周学术论文试图从研究角度诊断和修复的同一可靠性差距。支撑这一产品定位的市场需求巨大：本周期引用的分析师估计显示，迄今仅17%的组织已部署AI智能体，而预测到2026年底，40%的企业应用将附带特定任务的智能体 ^[23]。这一采纳雄心与部署现实之间的差距，正反映了本研究其余部分从研究角度测量的差距——架构增益无法清晰分离、记忆无法选择性遗忘、故障在进入生产前难以检测。Sakana AI自身将多智能体自监督公开定位为递归集体改进的路径，以及并行推动协调编码智能体用于科学共同发现，表明至少有一家主要实验室正押注于在顶层叠加更多自主性，而非减少。