遏制架构:将模型视为内部威胁
纳德拉的论文并未将人工智能安全寄托于让模型变得更可信,而是提出了相反思路:构建即使模型完全不可信也能正常运行的系统。[1]核心设计在于结构分离,将模型、协调其行为的“控制软件”(harness)以及定义其可执行操作的“行动空间”(action space)作为独立且可分别控制的层级,从而防止任一组件被攻破后不受限制地行动。[1]基于此前提,提出了三项具体控制措施:授权人员可在任务中途暂停或关闭模型的紧急制动装置;每项重要操作都必须留下人类可读且模型自身无法篡改的日志;以及零信任立场,即从一开始就假设模型可能已被攻破,而非等待滥用证据出现后再应对。[1][2]这一框架与大多数人工智能安全讨论截然不同,后者通常聚焦于对齐性,即让模型自身行为良好。纳德拉明确押注于一种更持久的解决方案:遏制机制本身不依赖模型是否行为良好。[1]



