GPT-5.6 Sol ARC-AGI-3 分数通过 API 设置实现三倍增长

官方 ARC-AGI-3 评估在每次移动后都会清除模型的工作记忆：它会丢弃模型的私有推理过程，并且一旦运行历史超出上下文窗口，也会删除早期操作，迫使模型在每一回合都从头重新理解游戏环境^[2]。OpenAI 的解决方案是 Responses API 中的两个设置：保留推理（Retained Reasoning），即当开发者传递前一次响应 ID 时，思维链可在各回合间持续保留；以及压缩（Compaction），即对较早的上下文进行摘要，而非截断或丢弃^[1]。当这两个功能同时启用时，GPT-5.6 Sol 在 ARC-AGI-3 公共任务集上的得分从官方基准的 7.8–13.3% 区间跃升至 38.3%，同时每局游戏的输出 token 数量减少了约六倍^[1][2]。

ARC-AGI-3 在每一步之间丢弃推理过程，正是为了确保分数反映的是模型自身的解题能力，而非累积的上下文或测试框架工程技巧^[2]。OpenAI 的设置重新引入了标准化评估本意要排除的连续性，然后利用由此产生的分数声称 GPT-5.6 Sol 超过了 Claude Opus 5。ARC Prize 联合创始人 Francois Chollet 的回应区分了不公平的“定制化”测试框架与合法的“通用 API 设置……可供所有 API 用户使用”——但他强调，这种接受的前提是相关设置和成本必须明确披露^[3]。这一接受需要附加披露条件本身，就表明这两种评估并非衡量同一事物。

时间点至关重要。GPT-5.6 Sol 在最大推理努力下的官方验证 ARC-AGI-3 分数为 7.78%^[4]。就在 OpenAI 发布其设置文章的几天前，Claude Opus 5 在高推理努力下创下了新的官方纪录 30.16%（30.2%），并由 ARC Prize 验证为迄今为止该基准测试中的最高分^[5]。OpenAI 发布的 38.3% 数据是在该纪录之后公布的，被表述为击败了 Opus 5——但 Opus 5 从未在相同的“保留推理+压缩”配置下运行过，因此这一比较实际上是将一个模型的定制化测试框架与另一个模型的标准化框架进行对比^[3]。

同一模型权重在不同条件下产生了近五倍的分数差异——标准测试框架下为 7.8% 至 13.3%，而在 OpenAI 自有设置下达到 38.3%——这意味着测试框架和 API 配置的重要性可能不亚于被测试的模型本身^[1][6]。正如某媒体总结的底层逻辑：“评估很少真正孤立地测试模型。它们也受到 API 设置和测试框架设计的影响。”^[6]未来任何实验室声称“模型 X 在基准测试中击败模型 Y”，都应被理解为“模型+测试框架+设置”的综合声明，而非仅关于模型本身。