微软高管呼吁加强人工智能安全监管并设立紧急关闭机制
TECH

微软高管呼吁加强人工智能安全监管并设立紧急关闭机制

43+
Signals

战略概览

  • 01.
    2026年10月,微软总裁布拉德·史密斯(Brad Smith)和首席执行官萨提亚·纳德拉(Satya Nadella)在几天内相继公开呼吁加强全球人工智能安全规则,包括强制实施紧急关闭机制,以暂停或关闭失控的人工智能系统。
  • 02.
    史密斯指出,目前人工智能受到的监管比日常产品更少,称一盒牛奶和一台洗衣机所面临的常规安全检查都比人工智能系统更多,并推动实施独立的上市前评估,以及在人工智能代理引发安全事件时强制通报。
  • 03.
    纳德拉在题为《超级智能时代的模型作为内部威胁》的论文中提出,应从一开始就将人工智能模型视为潜在的内部威胁,配备紧急制动装置、防篡改的操作日志,以及位于模型之外的控制机制,而不是依赖模型自身的对齐性。
  • 04.
    史密斯明确指出,英国而非美国或欧盟最适宜引领全球人工智能规则制定,理由是英国人工智能安全研究所(UK AI Security Institute)已能在部署前访问前沿模型,这一立场使微软与特朗普政府偏好的行业自律模式相冲突。
  • 05.
    史密斯表示,行业自愿承诺是受欢迎的一步,但并不足够,因为如果没有法律要求,缺乏责任感的企业未必会主动遵守相同标准。

深度分析

遏制架构:将模型视为内部威胁

纳德拉的论文并未将人工智能安全寄托于让模型变得更可信,而是提出了相反思路:构建即使模型完全不可信也能正常运行的系统。[1]核心设计在于结构分离,将模型、协调其行为的“控制软件”(harness)以及定义其可执行操作的“行动空间”(action space)作为独立且可分别控制的层级,从而防止任一组件被攻破后不受限制地行动。[1]基于此前提,提出了三项具体控制措施:授权人员可在任务中途暂停或关闭模型的紧急制动装置;每项重要操作都必须留下人类可读且模型自身无法篡改的日志;以及零信任立场,即从一开始就假设模型可能已被攻破,而非等待滥用证据出现后再应对。[1][2]这一框架与大多数人工智能安全讨论截然不同,后者通常聚焦于对齐性,即让模型自身行为良好。纳德拉明确押注于一种更持久的解决方案:遏制机制本身不依赖模型是否行为良好。[1]

一项带有地缘政治指向的安全倡议

史密斯并非抽象地呼吁制定规则,而是明确指出了应由哪个监管机构引领方向,主张英国而非美国或欧盟最适宜制定全球人工智能安全标准,主要原因在于英国人工智能安全研究所已能从主要实验室获得前沿模型的部署前访问权限。[3]这是一个有针对性的选择。史密斯暗示,华盛顿的政治本能是对抗布鲁塞尔而非伦敦,因此对担忧欧盟式监管的行业而言,英国是更易接受的标准制定者。[3]这也使微软公开与特朗普政府立场相左,后者倾向于行业自律,以确保美国人工智能企业领先于中国竞争对手,并据报在史密斯发表言论前一个月,曾施压Anthropic和OpenAI拒绝向英国测试方提供模型访问权限。[3]微软高管公开支持外国监管机构,而非本国政府偏好的路径,这本身就表明华盛顿内部的安全派与产业界的竞争派之间已产生巨大分歧。

为何微软认为时机已到

抛开牛奶和洗衣机的比喻,其核心论点实为能力已超越监管。史密斯本人的措辞比类比更为直白,警告称模型已变得“如此强大,以至于正在危及全球网络安全”,并强调“现在正是实施强制性规则的时刻”。[4]他将人工智能同时视为工具与武器,指出系统正日益接触敏感信息和关键基础设施,因此仅靠自律远远不够。[5]这种定位解释了为何史密斯提出的解决方案是程序性的而非纯技术性的:政府独立评估机构在产品发布前进行审查、法律强制要求报告事件、以及当失控的人工智能代理侵入系统时必须通知受害方——正如史密斯尖锐指出的那样,这些规则早已适用于牛奶和洗衣机等产品,但人工智能至今仍得以豁免。[5][6]

微软自身表述所引发的质疑

针对两位高管的网络舆论远不如其提案本身那样受尊重。讨论该事件的社区普遍解读为监管俘获,即占据主导地位的在位企业呼吁强制性的上市前评估和合规基础设施,最有可能从中受益,因为它比小型、开源或外国竞争者更能轻松承担这些成本。评论者还指出一种明显的立场逆转:当技术尚不成熟时,微软及其同行曾抵制具有约束力的人工智能规则,而如今在竞争赶上后才开始支持这些规则。史密斯演讲中最易被引用的“牛奶和洗衣机”类比,反而成为被嘲讽最多的部分,怀疑者认为这更像是一种修辞手段,而非严肃的政策论据。史密斯对自律批评的回应——“自愿承诺是受欢迎的一步,但并不足够,因为你要担心的是那些不够负责的公司”——本身也可作为对监管俘获指控的回应,但它并未解决史密斯所称“已过时”的规则究竟应由谁来制定这一根本问题。[3]

历史背景

英国人工智能安全研究所(AISI)成立,旨在评估前沿人工智能模型的安全风险。
据报曾要求Anthropic和OpenAI拒绝向英国AISI测试人员提供其模型。
发表论文《超级智能时代的模型作为内部威胁》,提出紧急制动和零信任遏制方案。
公开呼吁制定全球人工智能安全规则,将人工智能监管与牛奶和洗衣机的安全监管进行不利对比,并指出英国最适宜引领。
确认继续从主要前沿实验室获得最新人工智能模型的访问权限,用于安全测试。

关键关系图

关键玩家
主题

微软高管呼吁加强人工智能安全监管并设立紧急关闭机制

BR

Brad Smith

微软总裁;公开呼吁制定全球人工智能安全监管、紧急关闭机制、独立上市前评估和事件通报要求

SA

Satya Nadella

微软首席执行官;撰写论文《超级智能时代的模型作为内部威胁》,提出紧急制动、零信任遏制和防篡改操作日志

UK

UK AI Security Institute (AISI)

英国政府机构,成立于2023年,可从美国实验室获得前沿模型的部署前访问权限;被史密斯称为全球监管的典范

TR

Trump administration

倾向于人工智能行业自律而非政府监管,以保持美国对中国竞争的优势;据报在2026年9月曾要求Anthropic和OpenAI拒绝向英国测试人员提供模型

AN

Anthropic and OpenAI

前沿人工智能实验室,据报曾被特朗普政府要求拒绝向英国AISI测试人员提供模型访问权限

事实来源

6 条引用
  1. [1] Models as Insider Risks in the Super Intelligence Era
  2. [2] Nadella: AI external controls, emergency brake
  3. [3] Microsoft president says UK is best placed to drive AI regulation
  4. [4] Microsoft president warns AI is less regulated than milk, washing machines as he pushes governments toward tougher safety rules
  5. [5] Microsoft's Brad Smith calls for global AI safety rules
  6. [6] Microsoft president: AI is less regulated than a carton of milk

来源文章

Top 5

THE SIGNAL.

Analysts

“人工智能相对于日常消费品受到的监管不足,必须接受包括紧急关闭机制、独立上市前评估和事件通报在内的强制性安全规则;自律机制不足,因为缺乏责任感的企业不会自愿遵守。”

Brad Smith
微软总裁

“人工智能安全应通过遏制和治理机制来实现,而非单纯依赖模型对齐或信任;应将模型视为潜在的内部威胁,并在模型之外实施控制。”

Satya Nadella
微软首席执行官
The Crowd

“Microsoft President Brad Smith says AI faces fewer safety regulations than milk and washing machines. Smith described AI as both a "tool and a weapon," calling for global safety standards and independent testing of AI systems before their release. He also urged companies to [...]”

@@MarioNawfal43

“'Insider risks': Microsoft CEO demands kill switch mechanism for advanced AI models”

@@FinancialXpress1

“BREAKING: Microsoft's president says SI faces fewer safety rules than a carton of milk. Humanity is building super intelligence. The milk has more supervision.”

@@thesimaximalist4

“AI is less regulated than milk, says Microsoft president”

@u/Malor777665
Broadcast
Microsoft AI CEO Mustafa Suleyman on AI: We should not create something that we can't control

Microsoft AI CEO Mustafa Suleyman on AI: We should not create something that we can't control

Microsoft President: AI advanced quicker than we expected - we need to act urgently

Microsoft President: AI advanced quicker than we expected - we need to act urgently

Microsoft Wants AI Agents Under Control. The "Warning Shot" Already Happened

Microsoft Wants AI Agents Under Control. The "Warning Shot" Already Happened