Nick Cammarata质疑叠加理论的AI可解释性论文

六年来，‘猫与车’神经元一直是该领域的经典例证，用以证明神经网络因空间不足而将无关概念塞入同一单元——即叠加现象的教科书案例。Cammarata的论文指出，这种解读根本就是错误的：该神经元响应的是一个尖锐、向外展开的V形几何结构，而非两个无关概念共享一个神经元 ^[2]。他进一步指出，自己最初关于叠加的发现是一个错误，据他所知，自那以后从未有人在真实网络中成功复现这一结果 ^[2]。

取而代之，Cammarata提出了‘递归泛化’：神经元在训练过程中像沉积层一样逐步积累相关含义，而不是被迫将无关概念折叠在一起 ^[1][8]。这从根本上重新定义了神经元的本质。Cammarata表示，应摆脱将神经元视为人类可理解的名词（如‘一个是车，另一个是曲线’）的思维方式，转而将其视为控制流，更像路由逻辑而非概念标签 ^[8]。2020年由Cammarata共同撰写、首次提出多义性和叠加概念的Distill论文，正是此次反转的直接目标 ^[9]。

最引人注目的数据是：从2023年OpenAI自动化可解释性项目中仅能解释约1.7%-2%的神经元，到在对开源模型Qwen3-32B的初步审计中，约90%的神经元极点具有单一明确功能，约7%承担两个密切相关功能，仅2%-4%仍未解释 ^[3][7]。Cammarata将这一跃升主要归功于更先进的代理式和自动化工具，用于生成和测试激活假设，而非模型本身的改变 ^[5][6]。他还指出，重新训练的现代版InceptionV1视觉模型在300倍范围的模型规模下，其最终层可达到99%-100%的可解释性 ^[4][6]，并将该模型中观察到的原始多义性归因于可修复的架构和工具问题，而非神经元数量的根本性短缺 ^[4][8]。

但这些数据的局限性与数据本身同样重要。Cammarata明确将自己最广泛的结论标记为‘高度推测性’ ^[2][8]；该论文尚未经过同行评审，配套的技术论文也尚未发布，且这些百分比被描述为依赖于阈值而非固定值 ^[7]。根据他本人的说法，对于万亿参数规模的模型，结果远未完全解决，因涉及的规模实在太大 ^[7]。

对该论文最有力的反驳来自领域内部。Google DeepMind的机制性可解释性研究员Neel Nanda公开表示，叠加仍然是解释模型如何存储远超神经元数量的事实所必需的，他认为该论文虽有趣，但并未对领域的整体图景构成重大更新。其他评论者持中间立场：Liv Gorton欢迎‘比预期更可解释’的发现，但认为神经元可读性与叠加理论并非必然互斥，因为两种框架可能共存。

Dean W. Ball则提出了更深层的方法论担忧，指出Cammarata的审计依赖于人类和代理对‘单一主要功能’的主观判断，且目前仍不清楚单个神经元的可读性是否能推广到理解万亿参数模型中数百万神经元的交互 ^[8]。这种区分——即神经元具有可读功能，与概念或行为可被完全审计——正是争议的核心。

公众反应已远超证据本身。OpenAI研究员Roon称该论文可能是科学史上被铭记的重大成果之一，并认为其足以普遍降低人们对AI灾难的预测 ^[5]。这种反响之所以被放大，部分原因在于Cammarata所在的公司Goodfire是一家可解释性初创企业，其商业利益依赖于‘可解释性是可实现且几乎已解决’的叙事 ^[8]。

在乐观情绪之下，存在一个尚未解决的矛盾：如果拒绝行为和安全护栏机制确实存在于少数可读且可隔离的神经元中，那么这种可读性同样可能使这些电路更容易被识别和剥离，而不仅仅是更容易被审计。这种双刃剑效应独立于‘叠加理论是否已被推翻’的争论之外，却同样关键。