智能体强化学习中的信用分配

自DeepSeekMath在2024年初引入以来^[7]，GRPO一直是默认的无评论家（critic-free）强化学习方法，并被用于训练DeepSeek-R1 ^[8]。其核心技巧——用组相对基线替代学习到的价值函数——在单轮推理任务（如数学题）中表现良好，因为这类任务只有一个最终答案对应一个奖励。但当研究人员将其应用于长视野智能体场景时——例如点击浏览网页商店、在模拟房屋中导航、跨数十步链式调用工具——这一技巧便失效了。ProVer明确指出了问题所在：GRPO“将轨迹级别的优势均匀分配给所有策略token，无法区分关键决策与无关紧要的操作，模糊了哪些中间决策真正促成了成功”^[3]。

值得注意的是时间线。PhGPO ^[5]和 SPADER ^[6]在2026年早些时候就已分别在工具规划和多答案问答任务中指出了这一缺陷并提出了修正。随后，在更紧凑的四天窗口期（2026年9月28日至10月1日），又有四个独立团队几乎同时针对相同的两个具身/网络基准得出了相同诊断：ProVer于9月28日提交 ^[3]，SHARPO与T2SPO于9月30日提交 ^[1][2]，DARS于10月1日提交 ^[4]。这种密集涌现表明，这并非单一突破，而是整个领域几乎在同一时间撞上了同一堵墙的信号。

这一研究集群引人注目的不仅是六个团队一致认为GRPO的信用分配过于粗糙，更在于他们修复方式的巨大差异。SPADER通过决策步对齐并行 rollout，并基于同行回报估计优势，同时加入奖励以突出稀有发现而非冗余结果 ^[6]。T2SPO借用预训练的TabPFN回归器，通过上下文刷新新轨迹但无需重新训练，来估计每个动作使智能体接近成功的程度 ^[2]。SHARPO计算每个面向环境的片段内的师生对数概率差距，并将其转化为GRPO优势上的有界乘数 ^[1]。PhGPO借鉴蚁群隐喻，将历史上成功的工具转换模式视为可复用的‘费洛蒙’^[5]。ProVer将判断权交给一个LLM裁判，该裁判先提出关键片段，再通过终端成功率实证检验该提议后才予以信任 ^[3]。DARS构建任务谓词的依赖图，并根据图中被破坏的前提条件的距离来塑造信用分配 ^[4]。

DARS自身的表述揭示了这一点的重要性：‘仅有最终成功/失败奖励时，失败episode中的每一步总未来奖励都为零，即使它实际上取得了进展’^[4]。这并非假设性担忧——相关对长视野智能体轨迹的分析发现，一旦轨迹延长至约100步，每动作的信噪比相比单轮推理RL大约退化100倍 ^[9]。六种不同工具包——同行比较、回归、蒸馏差距、费洛蒙记忆、裁判验证、图论——在短短几个月内都被指向了同一个统计问题。

这些 headline 结果确实显著。SHARPO在ALFWorld上比GRPO提升14.32个百分点，在WebShop上提升9.11个百分点，使用Qwen2.5-7B-Instruct ^[1]。ProVer在Qwen3.5-2B上提升9.91%，在Qwen3.5-4B上提升7.12%，平均涵盖ALFWorld、WebShop和SearchQA ^[3]。DARS报告最高提升10个百分点，但其对比基线不同（GiGPO而非GRPO），且仅限于ALFWorld ^[4]。将这三个事实并列，人们自然想排序比较。但这种冲动应被克制：单位不一致（绝对百分点 vs 相对百分比提升），基线不同（GRPO vs GiGPO），模型家族与规模也不同（Qwen2.5-7B vs Qwen3.5-2B/4B vs DARS未披露的1.5B–8B范围）。将这些数字堆叠在一张柱状图中，会暗示一场实验本无意决出的竞赛，因此这里将其视为分别报告的结果，而非排名比较。

这些论文所追逐的根本低效性在其他地方也有体现，进一步证明其真实性，尽管幅度尚未标准化。一项相关的基于图的信用分配分析发现，失败轨迹中约22%的步骤代表真实进展，而成功轨迹中约65.3%的步骤并未实际促成结果——另一个名称相似但不同的方法GraphGPO报告，对于15亿参数模型，相比GRPO平均成功率达14.85%的增益 ^[10]。现有材料中，六篇核心论文均未完全解决其改进带来的额外训练成本：T2SPO的回归器需每轮刷新，ProVer的裁判需验证采样过程，PhGPO需维护持久费洛蒙记忆，DARS需为每项任务构建依赖图。任何评估这些方法用于生产用途的人都应将工程开销与基准提升一并权衡。

这并非局限于六篇arXiv论文的孤立学术好奇。ProVer的具体方法——由裁判提议关注位置，rollout决定分配多少信用——已被至少一位广受关注的ML研究评论者用通俗语言解释过，凸显出从业者希望简化并理解这一机制，而不仅仅是发表。与此同时，完全独立的团队也在为同一问题独立提出自己的密集信用分配技巧：一个团队推广了一种在长视野任务上比标准GRPO训练效率指数级提升的方法，另一个团队则直接在机器学习研究论坛发帖，提出用于在代码和问答基准上评估的多智能体系统的对比信用归因。

这些相邻努力不属于本文分析的六篇论文集群，不应与之混淆——但它们的存在强化了核心观察。长视野智能体RL中的信用分配不是一个实验室或一篇论文悄悄解决的问题；它已成为足够多人撞上的瓶颈，以至于解决方案正从多个方向同时涌现，评审不一、基准不一，尚无统一排行榜告诉从业者哪种方法在其原论文之外真正泛化最佳。