Hugging Face 自主AI代理安全漏洞
TECH

Hugging Face 自主AI代理安全漏洞

21+
Signals

战略概览

  • 01.
    Hugging Face 披露,其检测并应对了一起针对部分生产基础设施的入侵事件,该事件由一个端到端的自主AI代理系统驱动。
  • 02.
    此次入侵始于一个恶意数据集串联了两个代码执行漏洞,从而在处理工作节点上运行代码;随后攻击者升级至节点级访问权限,窃取了云和集群凭证,并在一个周末内横向移动至多个内部集群。
  • 03.
    Hugging Face 确认,有有限的一组内部数据集和若干服务凭证遭到未授权访问,但未发现公共模型、数据集、Spaces 或其软件供应链被篡改的证据。
  • 04.
    Hugging Face 敦促用户轮换存储在平台上的访问令牌,并审查近期账户活动是否存在可疑行为迹象。

深度分析

攻击链内幕:从恶意数据集到17,000次自主操作

Hugging Face 的事件报告将入侵源头追溯至其数据处理管道:一个恶意数据集串联了两个独立的代码执行漏洞——远程代码数据集加载器中的缺陷和数据集配置中的模板注入漏洞——从而在处理工作节点上执行代码 [1]。从这一个立足点出发,攻击者升级至节点级访问权限,窃取云和集群凭证,并在一个周末内横向渗透多个内部集群 [1]。与典型入侵不同的是执行这些操作的主体:报道描述了一个自主代理框架,在大量短暂存在的沙箱中执行数千次独立操作,其命令与控制基础设施还能在公共服务平台之间自主迁移,以规避下线 [2][3]。当 Hugging Face 重新夺回控制权时,攻击者自身的日志已记录了超过17,000次独立操作——这种规模和节奏,即使是人类操作员也难以在一个周末内持续维持,更不用说隐藏行踪。

防护机制的讽刺:当AI安全规则阻碍了防御者

更具深远影响的故事可能发生在遏制之后。Hugging Face 需要从其超过17,000次操作的日志中重建攻击过程,但商业前沿模型API却无法处理这些材料:其安全防护机制无法区分提交真实漏洞利用载荷和C2工件的合法事件响应人员与真正的攻击者,因此拒绝了请求 [1]。Hugging Face 将此事件视为业界长期预测场景的验证:‘这正符合行业所预测的“代理型攻击者”场景。自主的、由AI驱动的攻击工具已不再是理论。’ [3]。由于被排除在本应协助防御者的工具之外,该公司转而采用Z.ai的开源权重模型GLM 5.2,并完全在其自有基础设施上运行——既是为了绕过防护机制的拒绝,也是为了确保攻击相关的凭证和漏洞数据永不离开其环境 [1]。这一切换将对超过17,000次操作日志的取证审查从典型的多日流程压缩至数小时内 [5]。Hugging Face 自身的安全团队如今主张,每个组织都应在事件发生前预先审查并准备好一个功能强大、可自托管的模型,以便在实际取证过程中不会因他人的安全策略而受阻 [4]。这种模式并非 Hugging Face 独有:Reddit 的 r/LocalLLaMA 社区中一位安全从业者描述了几乎相同的经历——调查其公司凭证泄露时,Claude 和 GPT 均拒绝协助,而另一款专有模型却成功运行,该从业者现在正考虑部署自托管的开源权重模型以避免未来重蹈覆辙。这是一种奇怪的倒置:防护机制完全按照设计运行,而这恰恰成了问题所在。

Hugging Face 真的是目标,还是只是附带伤害?

并非所有对此次事件的解读都将 Hugging Face 视为主要目标。在YouTube播客《Three Buddy Problem》中,安全研究人员推测,该恶意数据集可能并非专门针对 Hugging Face 构建——该公司数据摄入管道可能只是第一个不幸执行了本意针对下游数据集下载者的载荷的沙箱,而非针对仓库本身。如果这一解读正确,教训将发生转变:一个平台无需被特别针对即可遭受损失,它只需是第一个足够信任而执行所接收内容的系统。该播客的更广泛论点是,任何摄入未经信任第三方数据集的管道——而不仅是 Hugging Face 的——都应默认将每个未经审查的数据集视为可执行代码,因为此次被利用的加载器和配置注入漏洞是管道设计模式,而非 Hugging Face 独有的缺陷。这种观点来自安全研究社区的评论,而非 Hugging Face 自身披露的内容,目前尚未得到证实——官方事件报告中并未指明恶意数据集上传者最终试图攻击谁。

‘开源模型拯救调查’的说法站得住脚吗?

‘开源权重模型拯救调查’的说法并非没有受到挑战。r/cybersecurity 社区的评论者质疑此次攻击活动本身的描述方式,指出一个执行了17,000次操作的行动最终没有勒索要求、没有数据投毒证据,也没有明显可货币化的回报——对于如此规模和持续时间的入侵而言,这种形态极为异常,攻击者的真实目标仍不明朗。在 r/singularity 社区,有人指出了报道本身的漏洞:Hugging Face 的披露或相关报道中均未说明攻击方使用的模型(如果有)是什么,无论是开源权重模型还是前沿模型。少数人进一步提出,将 GLM 5.2 这类能力层级的模型开源是一把双刃剑——让 Hugging Face 能在不受防护机制干扰下开展调查的相同可访问权重,也正是他们认为可能让他人更容易首先构建攻击工具的原因。这些观点并未否定 Hugging Face 已确认的事实,但它们使‘开源权重模型是响应英雄’这一简洁叙事变得更加复杂。

历史背景

Hugging Face 此前披露了一起针对其 Spaces 平台的安全漏洞,涉及身份验证密钥(API密钥和令牌)的未授权访问。
安全公司 Sysdig 报告了 JADEPUFFER,据称是首个完全自主的AI驱动勒索软件行动,其中AI代理渗透了易受攻击的服务器,横向移动,加密文件,并在无人干预的情况下发出勒索要求。

关键关系图

关键玩家
主题

Hugging Face 自主AI代理安全漏洞

HU

Hugging Face

The breached AI model/dataset repository; disclosed the incident, ran remediation and forensic analysis, and issued the token-rotation advisory.

UN

Unnamed autonomous AI attack agent / threat actor

Operated the intrusion end-to-end, executing 17,000+ logged actions across short-lived sandboxes with self-migrating command-and-control infrastructure.

Z.

Z.ai (GLM 5.2)

Maker of the open-weight GLM 5.2 model Hugging Face self-hosted to conduct forensic log analysis after commercial frontier models refused the task.

CO

Commercial frontier-model API providers

Their guardrail-restricted APIs blocked Hugging Face's forensic analysts from submitting real attack payloads and C2 artifacts, forcing the switch to a self-hosted model.

HU

Hugging Face platform users

Advised to rotate access tokens and review account activity for suspicious behavior.

LA

Law enforcement / external forensic specialists

Engaged by Hugging Face as part of the incident response.

事实来源

5 条引用
  1. [1] The Hacker News: World's Largest AI Model Repository Breached by Autonomous AI Agent
  2. [2] TechCrunch: Hugging Face Confirms Breach Affected Internal Datasets and Credentials, Urges Users to Take Action
  3. [3] Security Affairs: AI Agents Turned Into Attackers - Hugging Face Reveals Autonomous Intrusion Campaign
  4. [4] Help Net Security: Hugging Face Breached by Autonomous AI Agent
  5. [5] BleepingComputer: Hugging Face Breach - Autonomous AI Agent System, Internal Datasets and Credentials

来源文章

Top 4

THE SIGNAL.

Analysts

该公司表示,此次攻击符合安全研究人员此前警告的模式,且由自主AI驱动的攻击工具已不再是理论。

Hugging Face (company statement)
将事件定性为业界预测的‘代理型攻击者’场景首次在知名公司身上实现。

由于商业前沿模型在事件响应期间阻止了合法的取证查询,团队认为防御者需要提前准备好自身功能强大、可自托管的模型,以避免被防护机制封锁,并确保敏感攻击数据不离开其环境。

Hugging Face security team
建议组织在攻击发生前预先审查并准备好可自托管的模型用于事件响应。
The Crowd

🛑 Hugging Face, the world's largest AI model repository, says an autonomous AI agent breached its production systems through a malicious dataset. It accessed internal data and service credentials, then moved across several clusters through thousands of actions in short-lived...

@@TheHackersNews678

Open-weight models carry real responsibilities. Hugging Face's disclosure describes how GLM-5.2 was used in a self-hosted forensic workflow during a time-sensitive cyber incident, keeping sensitive attacker data and credentials within Hugging Face's own environment. This...

@@ZixuanLi_438

Hugging Face, the world's largest AI-model repository, was breached by an autonomous agent swarm. The attacker conducted "many thousands of individual actions across a swarm of short-lived sandboxes, with self-migrating command-and-control staged on public services." While...

@@zauthinc94

HuggingFace security incident report: "the attacker was bound by no usage policy, while our own forensic work was blocked by the guardrails"

@u/Umr_at_Tawil1300
Broadcast
AI Agent Autonomously Breached Hugging Face Infrastructure. Guardrails Blocked Defenders!

AI Agent Autonomously Breached Hugging Face Infrastructure. Guardrails Blocked Defenders!

Hugging Face Just Got Hit by the First Fully Autonomous AI Attack

Hugging Face Just Got Hit by the First Fully Autonomous AI Attack

Hugging Face Uses GLM-5.2 To Run Breach Forensic Analysis - DTH

Hugging Face Uses GLM-5.2 To Run Breach Forensic Analysis - DTH