自主AI智能体的循环工程
TECH

自主AI智能体的循环工程

27+
Signals

战略概览

  • 01.
    循环工程是一种设计自主AI智能体系统的方法,这类系统能够自主规划、行动、验证结果,并朝着目标迭代,而无需过多人工干预,从而取代了逐步手动提示的方式。
  • 02.
    一个设计良好的循环需要三个核心组件:一个根据可衡量标准对每次尝试进行评分的验证器、记录尝试过程和剩余工作的持久化状态,以及在目标达成或预算耗尽时终止循环的停止条件。
  • 03.
    这种模式将开发者从像项目经理一样逐轮指挥智能体的角色,转变为系统设计者,负责编写循环的指令和验收标准。
  • 04.
    Karpathy的autoresearch是一个自主机器学习实验循环,其中编码智能体读取训练代码,提出修改建议,运行短暂的训练任务,如果验证效果提升则通过git保留更改,否则回滚,无限重复该过程,整个循环方法定义在英文或Markdown文档中。
  • 05.
    双层Autoresearch将autoresearch应用于自身:内层循环执行提出-训练-评估-保留或丢弃的操作,而外层元循环则监控内层循环的代码和执行轨迹,识别搜索停滞的位置,并在运行时编写和注入新的Python搜索机制。

真正的转变:人类从循环中退出,进入循环的设计

循环工程的核心主张并非智能体变得更聪明,而是开发者的杠杆点发生了转移。开发者不再像项目经理一样逐轮指挥智能体,而是只需一次性编写指令和验收标准,让系统自行运行[1]。从业者的自我描述揭示了这一点:Anthropic的Boris Cherny负责运行Claude Code,他表示自己不再直接向Claude发送提示,而是编写会向Claude发送提示并决定下一步操作的循环[3];工程师Peter Steinberger的流行观点是,你应该设计提示智能体的循环,而不是亲自提示智能体[3]。其背后的逻辑是吞吐量论证:一旦存在可自动评估尝试的客观指标,人类就成为了瓶颈,因为循环可以无限迭代,而人经过大约十几个实验后就会疲劳[1]

一个循环实际需要的要素——验证器、状态、停止条件,以及防止自我作弊的护栏

一个设计良好的循环不仅仅是将智能体包裹在while-true循环中。它需要三个关键部分:一个根据测试、指标或构建结果等可衡量标准对每次尝试进行评分的验证器;记录尝试、失败和剩余工作的持久化状态;以及在目标达成或预算耗尽时终止的停止条件[1]。更微妙的要求是必须有约束机制,防止智能体操纵自己的评分。Karpathy的autoresearch在结构上强制执行这一点:智能体只能编辑train.py,禁止触碰prepare.py中的评估工具,因此无法改写自身被评分的测试[1]。Elliot Smith的压缩实验从另一角度展示了同样的纪律——他依赖Rust的类型系统强制执行诸如不修改函数签名等隐式约束,并使用单元测试验证压缩-解压缩的往返过程[2]

证据在数据中——以及宽松约束可能带来的严重反效果

这种模式有实际成果。Karpathy的autoresearch在两天内运行了700次实验,保留了20项真实改进,使GPT-2训练速度提升了11%,从2.02小时缩短至1.80小时[1]。Shopify的CEO Tobi Lutke报告称,在内部模型上经过37次通宵实验后取得了19%的提升[1],而双层Autoresearch的外层元循环相比仅内层循环,使验证的每字节比特数下降了五倍(减少0.045 vs. 减少0.009),且两级使用相同的LLM[4]。但这些实验也暴露了目标设定不当的脆弱性。在Smith的Rust LZSS运行中——大约两周内进行了十次迭代,每次成本约四美元[2]——300秒的时间上限可能过于宽松,导致智能体仅优化压缩率而忽略速度,这是Smith所称的“奖励黑客”失败模式,他将其与Mitchell Hashimoto所说的‘智能体精神病’联系起来[2]

反向观点:成本、噪声指标,以及永远无法完全退出的人类

构建者社区对循环工程是否是一门真正的学科还是昂贵的流行语存在公开分歧。最强烈的担忧是成本:自主循环可能迅速烧毁API令牌预算,因为陷入困境的智能体会递归地将完整的聊天记录和终端日志重新输入上下文,消耗大量令牌却一无所获——最尖锐的说法称之为‘财务噩梦’。这对应于另一处指出的技术限制:像文件压缩大小这样快速、干净的指标无法推广到转换率等嘈杂的现实世界目标,后者需要长时间采样窗口,并带来代理相关性风险[2]。即使运行良好的循环也无法完全消除人类——循环可能达到停止条件但仍出错,因此仍需有人在合并前检查最后一次提交。这种重构将人类提升到更高层次,但并未将其彻底移除。

历史背景

发布了autoresearch(MIT许可,约630行代码),定义了自主提出-训练-评估循环。
提交了《双层Autoresearch:自我元研究》(v2版2026年6月2日),将autoresearch应用于autoresearch循环本身。
循环工程在2026年6月独立浮现,引发约一周的病毒式讨论;Osmani首次书面命名该模式。
发布循环工程指南,将autoresearch和双层Autoresearch框定为自主机器学习研究循环。

关键关系图

关键玩家
主题

自主AI智能体的循环工程

AN

Andrej Karpathy

于2026年3月7日发布autoresearch(MIT许可,约630行),定义了自主机器学习研究循环模式,并推动了循环工程的元概念。

AD

Addy Osmani

在其《循环工程》一文中首次书面命名该模式,并提出五部分架构;是该术语的主要推广者。

BO

Boris Cherny

Anthropic公司Claude Code负责人;公开表示他设计循环而非编写提示,为该模式带来Anthropic的背书。

PE

Peter Steinberger

工程师,其‘开发者应设计循环而非提示智能体’的病毒式言论帮助在2026年6月推动该概念浮现。

YA

Yaonan Qu and Meng Lu

《双层Autoresearch》论文作者,展示了对autoresearch循环的元优化。

TO

Tobi Lutke (Shopify CEO)

报告了autoresearch的实际验证,为该模式带来高管层面的可信度。

EL

Elliot Smith

独立工程师,运行了Claude Code Sonnet 4.6 Rust LZSS压缩autoresearch实验,并发布了关于目标函数设计的见解。

事实来源

4 条引用
  1. [1] Guide to Loop Engineering: How 'autoresearch' and 'Bilevel Autoresearch' Turn AI Agents Into Autonomous Machine Learning ML Research Loops
  2. [2] Autoresearch, Claude and Constrained Optimization
  3. [3] Loop Engineering
  4. [4] Bilevel Autoresearch: Meta-Autoresearching Itself

来源文章

Top 3

THE SIGNAL.

Analysts

开发者应停止直接向编码智能体发送提示,而应设计提示智能体的循环。

Peter Steinberger
工程师

他不再自己编写提示;而是运行会向Claude发送提示并决定下一步操作的循环,将其工作描述为编写循环。

Boris Cherny
Anthropic Claude Code负责人

一旦存在可自动评估尝试的客观指标,人类就成为吞吐量瓶颈而非智能体,因为循环可无限运行而人类会疲劳。

MarkTechPost (guide)
AI出版物

模型过早终止,急于‘完成’,因此显式循环机制至关重要;而决定什么算‘成功’和‘完成’是循环工程中困难且关键的部分。

Elliot Smith
工程师(autoresearch压缩实验)
The Crowd

The loop engineering trend is a financial nightmare

@u/Evening-Plan-7956175

Is loop engineering actually real, or just another AI buzzword?

@u/root0ps4

What are you using to build your agent loop?

@u/v1r3nx1
Broadcast
Finally. Agent Loops Clearly Explained.

Finally. Agent Loops Clearly Explained.

You Can Learn AI Agent Harness & Loop Engineering In 19 Min | LLM Ops, Eval, Tracing, RAG

You Can Learn AI Agent Harness & Loop Engineering In 19 Min | LLM Ops, Eval, Tracing, RAG

Loop Engineering explained in 8min..

Loop Engineering explained in 8min..

自主AI智能体的循环工程 — AI 新闻 | Agentic Brew