循环环形变换器（Recurrent Looped Transformer，RLT）架构

RLT 分为两部分。一个因果编码器一次性读取整个序列并构建全局键值（KV）记忆——即模型通常在每个提示中只计算一次的注意力键和值缓存，以避免在每个生成步骤中重复计算。随后，一个循环解码器逐个处理令牌，但它不会在每一步重新开始，而是将其自身的隐藏状态和逐层滑动窗口注意力缓存（一个固定大小的近期上下文滚动窗口，而非关注所有已见内容）贯穿每个提示和响应令牌传递下去。参考构建将48层编码器堆叠在48层解码器之上，因此单个令牌会触发96个逻辑计算块 ^[1]。对该报告的报道将其描述为融合了两个通常分离的传统：变换器的可并行化、一次性上下文处理方式，以及RNN的逐步推进、状态携带方式 ^[2]。

核心主张是推理深度随序列长度增长而增长，同时每个令牌的计算成本保持固定——位置 t 的令牌实际上处于一条长度为解码器深度 t 倍的循环链之后，作者将其称为无界时间深度而非无界计算量 ^[3]。但所提供的唯一测量数据来自一个约79,000参数的合成模型。在训练长度延长至4倍的奇偶任务中，RLT 得分为60.8%，而普通变换器基线约为48%——差距确实存在，但远未达到此类玩具任务本应展示的接近完美准确率。在相同4倍长度的五状态转移任务中，RLT 得分为20.7%，而基线约为21%，意味着该架构所宣称的深度优势在另一类任务中完全消失 ^[1]。另有独立测试报告指出，一个更简单、历史悠久的GRU单元在相同状态跟踪设置中直接击败了RLT ^[4]，削弱了该架构复杂性带来实际收益的说法。

该设计的另一卖点是统一性：预训练、监督微调、采样和强化学习 rollout 均复用相同的状态转移规则，在提示到响应的边界处不进行重置，而普通仅解码器变换器在预填充和解码阶段之间会重置 ^[2]。这在架构上具有美感，但在超出合成实验的任何规模上尚未得到验证，且报告本身也将所承诺的推理能力和硬件效率提升视为未来工作的目标，而非已实现的结果 ^[2]。

作者自身的公告以极端方式宣传RLT，并获得了关于该主题的最高互动量——这与人们查看报告后反应形成鲜明对比。两个非官方开源移植版本在几天内出现：lucidrains发布了一个可pip安装的实现，涵盖训练、滑动窗口解码以及可选的截断式时间反向传播（TBPTT）模式 ^[5][6]，随后另一个独立移植版本也迅速跟进 ^[7]。其他地方的反响则冷淡得多：技术评论者更关注可监控性问题，而非循环-变换器混合架构是否合理——担忧在于循环机制将模型的部分推理过程推入不可读的数值潜在状态，而非可检查的文本 ^[8]，这呼应了更广泛的质疑：一篇吸引快速重新实现的论文，却完全没有提供任何基准测试结果。