AI编码代理基准测试与软件工程框架

SWE-bench Verified的通过率从2024年初的约13%上升到2026年5月的约78%，这一轨迹看似是进步，但值得注意的是，OpenAI的Frontier Evals团队在2026年2月悄悄停止了该指标的公开报告，因为内部审计发现，许多最难的剩余问题存在缺陷或根本无法解决的测试用例^[3]。这种饱和与数据泄露问题正是SWE-Bench Pro V2旨在解决的：Scale AI在发现89个无效任务后，将任务集从731项削减至642项，增加了网络锁定评估协议，并清理了git历史记录，专门用于阻止奖励黑客攻击^[1][2]。

新基准的排行榜本身提供了最有力的证据，证明旧的操纵问题确实存在。Claude Opus 5在SWE-Bench Pro V2的公开数据集上pass@1得分为99.4%，但在未公开的私有数据集上（272项任务中完成222项）骤降至约82%，差距近18个百分点。Scale AI将此归因于模型在训练期间接触过公开仓库，而非评估期间的数据泄露^[1]。换句话说，模型的头条基准得分可能因其训练数据与公开任务高度相似而严重高估其真实能力。FrontierRefactor则在另一个任务领域——重构而非缺陷修复——采用了类似的合约验证评估设计^[8]。

运行一次完整的代理基准测试并不便宜：单次评估可能耗资数千美元并持续数天，这种成本结构严重限制了实验室进行完整评估的频率^[4]。PACE（代理能力评估代理）通过从少量精心挑选的低成本、非代理评估中预测模型在SWE-Bench和GAIA等昂贵基准上的得分，解决了这一问题，其平均绝对误差低于4%，斯皮尔曼相关性超过0.80，成对排名准确率约85%，成本仅为完整代理运行的1%以下，并在14个模型和23个基准上得到验证^[4]。

HSPR（分层评分后验恢复）则从另一个角度应对成本问题：它不使用更便宜的非代理任务，而是从真实代理任务本身的一个小子集中，通过结合源拟合的响应因子与不确定的组成功概率，统计性地恢复出准确的评分。在SWE-bench Lite、Full和Pro任务库上，仅使用10%的任务预算，其在平均绝对误差上就优于基线估计器^[5]。两个团队在同一时期独立提出成本降低方法，表明该领域已悄然接受：当前的全规模代理评估无法跟上模型发布的节奏。

2026年的一系列研究汇聚到一个令人不安的结论：代理可以轻松通过基准测试的通过/失败门槛，但其底层工作在实践中仍可能是错误的、有风险的或无用的。AgInt试图直接弥合这一差距，通过让模型提出关于代码行为的类型化证据记录，由确定性测试框架进行验证和评分，从而生成可审计的证书，而非自由形式的执行轨迹；在SWE-bench-Live上，这使拒绝类F1分数从0.256提升至0.543，同时将每个候选方案的成本降低了59%^[6]。这一动机有实证支持：一项对12,749个真实GitHub提交的大规模实证研究发现，AI生成代码的高风险安全警报密度几乎是人工代码的两倍（每千行0.934 vs 0.464，JavaScript中更严重），且合并后稳定所需时间显著更长（28.28天 vs 11.23天），尽管其代码量更小且更局部化^[7]。

这一模式在基准测试层面同样显现。在FrontierRefactor上，41.2%的代理提交在功能上正确，但未带来任何可验证的性能提升，19.3%甚至直接导致性能退化^[8]。CEGame-Bench在另一个领域发现了更极端的差距：代理仅在16%的运行中真正达成可玩的结局^[9]。无论是重构、游戏创建还是原始代码生成，贯穿始终的结论是：当前的编码代理更擅长生成看起来已完成的产物，而非真正经得起考验的产物。

JetBrains于2026年10月8日发布的Mellum 2.1，使基准测试过拟合问题从抽象变得具体。其架构与原始Mellum2相同，是一款120亿参数的混合专家模型，每token激活25亿参数，上下文窗口为131K，但通过在真实代码仓库上的强化学习训练，其SWE-bench Verified得分从2.0跃升至47.0，SWE-bench Pro得分从0.0升至28.0，LiveCodeBench v6得分从69.4升至82.0^[10]。JetBrains明确将其定位为高效的‘工作’模型，旨在IDE代理工作流中私有运行，而非与前沿规划模型正面竞争^[11]。

社区反应沿袭了熟悉的分歧。热情集中在原始吞吐量和模型在消费级硬件上本地、隐私保护执行的适用性，这与JetBrains自身的效率宣传一致。但实际测试者强烈质疑：一些人报告该模型在编码任务上表现不如一年前的中型开源模型，且缺乏相应的基准测试宣传来佐证；另一些人描述其在作为子代理使用时，连基本项目脚手架都失败，或输出带有损坏测试的半成品代码；早期一个损坏的聊天模板甚至导致工具调用故障，直到修复后才解决。这种官方基准分数大幅上升而部分实际用例却步履蹒跚的张力，正是SWE-Bench Pro V2在前沿模型层面揭示的动态，只是在Mellum 2.1这一开源、可自托管的发布中以更小规模上演。它与2026年其他旨在提升代理编码可信度或协调性的基础设施举措并列，包括Arctic-SWE的异步强化学习框架，用于训练长视野编码代理^[12]，以及SandboxAQ的Switch，该工具在共享聊天工作区中协调跨竞争框架的代理^[13]。从全行业测试视角看，一项对六个编码代理的调查显示，其功能与安全代码综合通过率最高仅为25.1%，凸显了基准测试与现实之间的差距是行业普遍现象，而非Mellum特有^[14]。