OpenAI 和 Anthropic 面临安全治理审查
TECH

OpenAI 和 Anthropic 面临安全治理审查

28+
Signals

战略概览

  • 01.
    2026年10月13日,OpenAI 和 Anthropic 出席英国议会商业、创新、科学与贸易委员会的听证会,与 Google DeepMind 和 Meta 不同,他们支持具有约束力、强制性的、基于能力的 AI 安全规则。
  • 02.
    此次听证会部分由 Anthropic 引发——该公司在未将其前沿模型提交给英国人工智能安全研究所进行发布前测试的情况下就发布了该模型,暴露出英国当前的人工智能安全制度是自愿性的,而非强制性的。
  • 03.
    此外,有报道称 OpenAI 和 Anthropic 正寻求对独立外部安全评估机构发布有关其模型的内容拥有编辑控制权——即否决权——尽管此前他们曾承诺这些评估机构将独立运作。
  • 04.
    听证会前几天,前 OpenAI 安全负责人 David Robinson 在任职3.5年后辞职,并在《大西洋月刊》发表文章,指出该行业内部的安全文化严重失灵,而迭代式、试错式的部署方式将随着模型能力增强而必然导致不断升级的失败。

深度分析

一边游说制定强制规则,一边悄悄限制监督者的发言权

2026年10月13日,OpenAI 和 Anthropic 在英国议会商业、创新、科学与贸易委员会公开表态,与 Google DeepMind 和 Meta 分道扬镳,支持具有约束力、强制性的、基于能力的 AI 安全立法 [1][2]。OpenAI 提交的文件称,其“有能力支持英国立法,为前沿人工智能建立持久、强制性、基于能力的要求” [3]。然而,这一立场与另一则报道形成尴尬对比:OpenAI 和 Anthropic 被曝曾试图获得对独立外部安全评估机构发布内容的编辑控制权——实质上是否决权——尽管此前承诺这些评估机构将独立运作 [6][7]。这种矛盾并不隐晦——两家公司的一只手请求立法机构实施外部监督,而另一只手却据报道试图限制外部监督者在公共场合能说的内容。综合来看,英国议会的证词与评估机构事件表明,这些实验室希望在自己设定的条件下接受监督——他们支持一个可由自己参与塑造的立法框架,但对那些不受其控制的评估者公开发布发现持保留态度。这种怀疑情绪也在 X 和 Reddit 上浮现——OpenAI 被争议性地解雇了三名安全研究人员,公司称这是“信任破裂”而非报复;另有报道称,两家实验室私下正在推演如何应对假设性灾难性 AI 事件带来的公众和政治后果,这些都加深了人们对其安全承诺是否仅停留在口头上的疑虑。

为何一次跳过安全测试在威斯敏斯特引发轩然大波

此次议会听证会并非例行检查——它是在 Anthropic 未将其前沿模型提交给英国人工智能安全研究所进行发布前测试就发布该模型后召开的,暴露出英国的人工智能安全制度是自愿性的,而非强制性的 [1]。委员会主席 Liam Byrne 直截了当地提出了核心问题:是否应允许企业自行决定其模型是否强大到需要独立测试,还是应通过法律强制要求发布前测试 [1]。这一问题因英国人权联合委员会的一份报告而更加尖锐,该报告指出,目前没有任何司法管辖区——包括英国——拥有真正有效的 AI 监管方法 [3]。Anthropic 决定跳过自愿测试,将一个抽象的政策漏洞转化为一个具体、可引用的失败案例,使立法者能够直接指出。听证会的讨论比政策流程本身更具针对性——天空新闻对同一听证会的报道显示,一名前 Anthropic 对齐研究人员告诉委员会,这些实验室正在“押注”利用当前模型协助进行进一步的对齐研究,而不是在系统关键能力超越人类水平时拥有可靠的保障计划,这一坦白削弱了自愿自我监管所暗示的安全感。

金融代理的“有用性阈值”是一场竞争性抢占,而不仅是安全讨论

在同期举行的 AI Engineer 纽约大会上,OpenAI 和 Anthropic 的高管讨论了“有用性阈值”——即自主金融代理达到足够可靠、可被委派真实金融决策的临界点 [4]。OpenAI 的 Joseph Kim 预测,到2027年将出现能够生成投资想法并执行交易的代理,而 Anthropic 则描述了围绕其《Claude for Financial Advisors》产品构建的“信任层”,包括身份验证、沙箱隔离和人类审批边界 [4]。尽管被包装为安全讨论,这实际上也是一场市场份额之争——Anthropic 的金融服务代理套件比 OpenAI 的 ChatGPT for Financial Services 推出早了数周 [4],彭博社的报道将这一时间安排描述为两家公司预期 IPO 前的直接竞争定位。这些安全术语——阈值、信任层、沙箱——同时也成为每家公司向监管机构和客户传达的信号:他们已经解决了自己仍在竞相推出的产品所面临的自主性难题。

内部人士的裁决:迭代式部署即制度化风险

英国听证会前几天,David Robinson——这位在 OpenAI 担任安全负责人长达3.5年、曾撰写或监督12次前沿模型发布安全报告的人——辞职并在《大西洋月刊》发表文章,指出该行业“迭代式部署”方法——即不断试错地发布能力越来越强的模型——将导致周期性失败,并随着模型能力增强而后果不断升级 [5]。他最尖锐的论断是:他在 OpenAI 从未与任何来自航空或核能等安全关键领域拥有工程经验的人共事过,而 AI 实验室本应达到那样的严谨标准——“一个允许这种事情发生的地方,绝不是培育可能比我们更聪明的人工心智的合适环境” [5]。OpenAI 发言人 Drew Pusateri 反驳称,公司会在需要放缓时暂停训练或推迟发布模型 [5]。时机至关重要——Robinson 公开与 OpenAI 决裂的时间,恰好与两家实验室向英国议员表示支持具有约束力的外部安全规则的同一周,这为批评者提供了一个现成的内部视角,揭示了这些实验室自身内部实践的真实面貌。

历史背景

发布报告《人工智能与人权监管》,结论是目前没有任何司法管辖区——包括英国——拥有真正有效的人工智能监管方法。
发表题为《我辞职是因为 OpenAI 的文化已破碎》的文章,宣布 Robinson 辞去 OpenAI 安全负责人的职务。
听取了 OpenAI、Anthropic、Google DeepMind 和 Meta 的证词;OpenAI 和 Anthropic 支持具有约束力的 AI 安全规则,而 DeepMind 和 Meta 未支持。
在为期三天的会议上,OpenAI 和 Anthropic 的高管就自主金融代理的“有用性阈值”展开辩论。

关键关系图

关键玩家
主题

OpenAI 和 Anthropic 面临安全治理审查

OP

OpenAI

前沿实验室;在议会听证会上支持具有法律约束力的英国安全立法,同时通过公司发言人反驳Robinson对文化的批评。

AN

Anthropic

前沿实验室;支持具有法律约束力的英国安全立法,但跳过了引发此次听证会的自愿性 AISI 发布前测试,并正与 OpenAI 竞相推出自主金融代理。

GO

Google DeepMind

前沿实验室;在同场听证会上作证,但未支持新的法定安全框架。

ME

Meta

前沿实验室;在同场听证会上作证,但未支持新的法定安全框架。

DA

David Robinson

前 OpenAI 安全负责人,任职三年半;辞职后公开批评公司内部的安全文化及行业的部署方式。

LI

Liam Byrne / UK Business, Innovation, Science and Trade Committee

委员会主席;召集四家实验室,质询其是否应将发布前的安全测试设为法律强制要求。

事实来源

7 条引用
  1. [1] OpenAI and Anthropic summoned to parliament on fears UK AI rules 'not fit for future'
  2. [2] Pressed by UK lawmakers, Anthropic, Google, Meta, OpenAI differ on AI regulation
  3. [3] OpenAI backs binding UK AI rules as MPs call for a regulator
  4. [4] Crossing the Threshold: How OpenAI and Anthropic Approach Autonomy and Safety in Financial Agents
  5. [5] OpenAI employee resigns, citing broken company culture and AI safety concerns
  6. [6] AI labs sought control over what outside evaluators publish, Reuters says
  7. [7] Anthropic and OpenAI Pushed for Veto Rights Over Safety Reports While Pledging Independence

来源文章

Top 3

THE SIGNAL.

Analysts

“认为该行业的迭代式部署——即不断试错地发布能力越来越强的模型——将导致周期性失败并不断升级后果,且该行业缺乏来自航空或核能等安全关键领域的工程师经验。引述:‘行业在这些问题尚未解决的情况下,任由模型变得越来越聪明,我们的处境就会越来越危险。’”

David Robinson (former OpenAI safety lead)
对行业部署方式的批评者

“认为自愿性自我监管不是可持续的保障措施,目前英国的规则尚不足以应对未来。引述:‘是否应允许人工智能公司自行决定其模型是否强大到需要独立安全测试?还是应通过法律强制要求发布前安全测试?’”

Liam Byrne (UK Business, Innovation, Science and Trade Committee chair)
支持强制性发布前测试

“将金融代理的安全部署围绕“有用性阈值”展开,并预测到2027年将实现投资想法生成和交易能力的突破。引述:‘当模型变得足够强大和可靠,能够为你节省时间的那一刻。’”

Joseph Kim (OpenAI, Head of ChatGPT for Financial Services)
金融代理能力阈值的框架提出者

“认为安全的自主性来自分层控制——身份验证、沙箱隔离、人类审批边界——而非限制模型的原始能力。引述:‘每隔一段时间,模型就会跨越一个阈值。当它做到时,工作方式就会发生一波变革。’”

Belinda Neal (Anthropic)
金融代理分层控制框架的提出者
The Crowd

“The AI race has a trust problem.🛡️⚔️ • A safety leader at OpenAI quit and wrote an essay in The Atlantic called "I quit OpenAI because its culture is broken". David Robinson spent about 3.5 years there and led the safety reports that come out with its big launches • His main ...”

@@KrackedDevs0

“The AI lab insisted the decision was about a 'breach of trust,' not raising safety issues.”

@@verge31

“SCOOP: Top executives at Anthropic, OpenAI and other AI companies are privately gaming out scenarios for a public and political revolt after a catastrophic AI event.”

@@axios621

“3 weeks after this tweet, OpenAI fired this safety researcher”

@u/Puzzleheaded-King5845400
Broadcast
Anthropic Unveils AI Agents for Financial Services Tasks

Anthropic Unveils AI Agents for Financial Services Tasks

Former OpenAI safety leader QUITS, warns company's culture is 'BROKEN'

Former OpenAI safety leader QUITS, warns company's culture is 'BROKEN'

Ex-OpenAI and Anthropic staff face MPs' questions

Ex-OpenAI and Anthropic staff face MPs' questions