NVIDIA AVO代理系统在ARC-AGI-3上取得100%成绩
TECH

NVIDIA AVO代理系统在ARC-AGI-3上取得100%成绩

29+
Signals

战略概览

  • 01.
    NVIDIA的AVO代理系统在ARC-AGI-3上取得了完美的100.00 RHAE分数,完成了全部25个公开游戏环境中的183个关卡。
  • 02.
    在没有AVO系统的支持下,仅使用基础的Claude Opus 5模型在相同的ARC-AGI-3公开测试集上得分仅为约30.2%。
  • 03.
    AVO系统完成183个关卡共使用了6,624次环境操作,比基于Claude Opus 5的竞争对手系统VISTA少约12%,后者需要7,542次操作。
  • 04.
    该100%的成绩仅涵盖公开测试集,由NVIDIA使用其自行重新实现的任务接口自报,并非官方ARC Prize排行榜上的经验证条目。

深度分析

系统实现了模型无法完成的任务

NVIDIA的AVO(代理变体操作器)系统在ARC-AGI-3上取得了完美的100.00分,完成了基准测试中25个公开环境的全部183个关卡[1]。令人震惊的并非分数本身,而是差距:同一底层模型——Anthropic的Claude Opus 5——在无系统支持的裸机测试中仅能取得约30.2%的分数[2]。AVO并非新模型或微调模型,而是围绕Opus 5构建的通用软件框架。NVIDIA自身对此的表述非常直接:‘模型只是代理的一个组成部分,真正决定底层能力能否转化为完成关卡的是其周围的框架——包括记忆、工具使用、失败恢复以及在长期任务中维持上下文的能力。’[3]Reddit上的反应也一致认为:这是框架的成果,而非模型更聪明的证据。一位r/accelerate的评论者明确指出——模型已具备超出预期的能力,真正瓶颈在于使用方式。这一重新定义对追踪AI进展的人至关重要:大约70个百分点的任务完成度提升来自架构工程,而非模型升级。

为何100%成绩带有结构性保留

NVIDIA自身也对这一头条数字提出了保留意见:这并非受控的消融研究,AVO与基线系统在后端、观察格式和记忆设计上存在差异,且100%的成绩仅覆盖25个环境的公开测试集,不包括ARC-AGI-3用于竞赛的私有测试集[4]。该基准测试的创建者Francois Chollet公开强调了这一区别:‘明确地说,与近期其他几项声明类似,在公开演示集上取得100%成绩,并不等于“在ARC-AGI-3基准测试上取得100%”。这就像因为你通过了游戏教程关卡,就说你通关了整个游戏。’ 这一保留是结构性的,而非偶然:根据Reddit上一篇广为引用的分析,ARC-AGI-3的规则完全禁止在私有测试集上使用AVO这类框架,这意味着NVIDIA的方法从设计上就无法在该部分接受评估。此外,100%的分数由NVIDIA使用其自行重新实现的任务接口自报,而非由ARC Prize基金会独立运行,因此不具备官方排行榜条目同等的验证地位[3]。Chollet的回应成为对NVIDIA自身表述的广泛引用的反驳,呼应了Reddit上出现的相同质疑。

AVO内部机制:记忆、监督者与四步循环

剥离营销包装后,AVO是由四个相对清晰的组件组合而成。每次尝试由一个“观察—规划—执行—评估”循环驱动:观察当前状态、提出计划、执行、评估结果,然后重复。一个持久记忆层在多次尝试中保留先前的实现与推理,使系统不会重复陷入相同的死胡同。一个监督代理监控进展轨迹,在停滞时调整策略,防止长期运行的代理陷入循环失败。针对ARC-AGI-3,AVO以纯文本模式运行,将64x64的网格视为数据而非渲染图像进行推理[2]。这些理念本身均非全新,但将它们组合起来,使AVO在使用完全相同的基底模型的情况下,弥补了70个百分点的差距。这也解释了NVIDIA强调的效率数据:AVO在6,624次总操作内完成了183个关卡,比竞争对手VISTA(基于Claude Opus 5的代理系统)使用的7,542次操作少约12%[4]。评论者将这一效率差距视为证据,表明该架构确实在发挥作用,而非仅仅通过暴力尝试更多次解决问题。

从优化GPU内核到解决游戏网格

AVO最初根本不是为ARC-AGI-3设计的。它的原始任务是在NVIDIA自家的DGX B200硬件上自主优化GPU内核:持续7天的会话探索超过500个优化方向,最终生成的内核性能比FlashAttention-4最高提升10.5%,比cuDNN最高提升3.5%[4]。随后,NVIDIA将相同的“观察—规划—执行—评估”循环、记忆层和监督代理应用于ARC-AGI-3的交互式推理任务,除了任务接口外几乎未作改动。这种可移植性或许比100%的头条更具意义:该框架从优化CUDA内核成功迁移到解决无明确规则或目标的抽象视觉谜题,这比单一基准测试分数提供了不同类型的证据。但这也引发了其他方面的质疑——相关r/LocalLLaMA帖子的最高评论称AVO为‘基本上是NVIDIA的营销噱头’,指出它是一个围绕NVIDIA自家论文构建的闭源框架,即使底层架构确实有效。

历史背景

Claude Opus 5在无代理框架支持的情况下作为裸模型评估,在ARC-AGI-3公开测试集上得分约为30.2%,为AVO取得100%成绩提供了对比基线。
AVO最初是为在NVIDIA DGX B200硬件上自主优化GPU内核而设计的系统,运行持续7天的会话,探索500多个优化方向,生成的内核性能比cuDNN最高提升3.5%,比FlashAttention-4最高提升10.5%,之后被重新用于ARC-AGI-3。
NVIDIA发布了宣布AVO在ARC-AGI-3上取得成果的开发者博客,The New Stack及其他媒体在同日进行了报道。

关键关系图

关键玩家
主题

NVIDIA AVO代理系统在ARC-AGI-3上取得100%成绩

NV

NVIDIA

Developer of the AVO agent harness and author of the announcement claiming the 100% ARC-AGI-3 result

AN

Anthropic

Creator of Claude Opus 5, the underlying model AVO wraps; the 30% bare-model baseline reflects directly on Opus 5's standalone performance

AR

ARC Prize Foundation / Francois Chollet

Creator and administrator of ARC-AGI-3 and its official leaderboard; publicly disputed NVIDIA's framing of the 100% result

VI

VISTA

Rival agent system also built on Claude Opus 5 for ARC-AGI-3, used by NVIDIA as its efficiency comparison point

事实来源

4 条引用
  1. [1] NVIDIA AVO Reaches 100% on ARC-AGI-3, Demonstrating a Frontier-Level General-Purpose Architecture for Long-Horizon Autonomous Agents
  2. [2] NVIDIA's AVO Hits 100% on ARC-AGI-3 Where the Bare Model Scores 30%
  3. [3] NVIDIA's Coding Agent AVO Scores 100% on ARC-AGI Benchmark
  4. [4] NVIDIA AVO: 100% on ARC-AGI-3 and What It Means for Long-Horizon Agents

来源文章

Top 5

THE SIGNAL.

Analysts

称AVO为不错的工作,但公开拒绝其解决了ARC-AGI-3的说法,将公开测试集的分数比作通过游戏教程而非通关游戏本身。

Francois Chollet
ARC-AGI基准测试创建者,ARC Prize基金会

将AVO视为更广泛行业转变的一部分,即模型周围的架构——路由、框架、记忆系统、监控——如今比基础模型更能决定能力,并主张应将其视为核心投资而非实现细节。

Saiyam Pathak
技术评论员,Substack

认为代理框架而非原始模型决定了系统能否完成长程任务,因为记忆、工具使用和失败恢复等架构将模型的潜在能力转化为实际成果。

NVIDIA
官方开发者博客表述
The Crowd

Our general-purpose coding agent just scored 100% on the ARC-AGI-3 interactive reasoning benchmark. NVIDIA AVO completed all 183 levels across all 25 public environments, figuring out what to do with no instructions, explicit rules, or stated goals.

@@NVIDIAAI5902

This is very nice work from NVIDIA. Like all high-performing approaches on ARC-AGI-3, it uses deep learning-guided on-the-fly synthesis of symbolic world models, i.e. navigating the world by generating programs to represent what you know. To be clear, like with several other recent claims, scoring 100% on the public demonstration set is not the same as "scoring 100% on the ARC-AGI-3 benchmark". It would be like saying you beat a videogame because you cleared the tutorial level.

@@fchollet828

ARC-AGI-3 is solved. AGI is here. It's not a debate. Inflammatory claims aside, NVIDIA solved the ARC-AGI-3 public benchmark with their agent harness, AVO + Opus 5. Opus 5 + AVO boosted Opus 5's score over the standard ARC-AGI harness from 30% --> 100%! It's what a great harness does: exposes latent capabilities of an LLM. For AVO it's: 1. Persistent memory across context windows 2. An inspect → plan → implement → evaluate loop 3. Execution feedback so the agent learns from mistakes at inference time 4. A supervisor that detects stagnation in failed trajectories and redirects the agent 5. External statefulness of the conversation transcript - tool calls, execution artifacts and the agent trajectory The great thing about frontier harness engineering is that you don't need to work at a frontier lab to contribute. Harness advances don't necessarily need to touch the model weights, but can make all the difference.

@@daniel_mac8355

NVIDIA's coding agent scored 100% on ARC-AGI-3 interactive reasoning benchmark

@u/MagicZhang1100
Broadcast
Reading NVIDIA's AVO Paper: How the Same AI Went From ~30 to 100 on ARC-AGI-3 (Public Set)

Reading NVIDIA's AVO Paper: How the Same AI Went From ~30 to 100 on ARC-AGI-3 (Public Set)

Same AI Model. 30% To 100%. What Actually Changed | AI News Daily

Same AI Model. 30% To 100%. What Actually Changed | AI News Daily

Nvidia says its AVO harness lifts Claude Opus 5 to 100% on ARC-AGI-3

Nvidia says its AVO harness lifts Claude Opus 5 to 100% on ARC-AGI-3