xAI 因儿童性虐待材料深度伪造起诉 Grok 用户
TECH

xAI 因儿童性虐待材料深度伪造起诉 Grok 用户

12+
Signals

战略概览

  • 01.
    xAI 于 2026 年 7 月 14 日在美国德克萨斯州北区地方法院对南卡罗来纳州男子特里·韦恩·哈伍德(Terry Wayne Harwood,67 岁)提起联邦民事诉讼,指控其通过迭代提示词操控绕过安全防护机制,利用 Grok 生成未成年人和成年人的非自愿色情深度伪造内容。
  • 02.
    这被认为是人工智能公司首次起诉自身用户之一,案件被定性为针对故意滥用模型的法律追责,而非由公司承担法律责任。
  • 03.
    xAI 同时面临 2026 年 3 月由五名未成年受害者(化名简·多伊 1-5)在加利福尼亚州北区法院提起的集体诉讼,该诉讼于 2026 年 7 月 7 日修订,将 Stability AI 增列为共同被告。
  • 04.
    此前的一项审查发现,xAI 向 NCMEC 提交的强制性儿童性虐待材料(CSAM)报告中有 90% 因缺少用户 IP 地址和 AI 生成的 CSAM 图像而无法被执法部门采取行动,这引发了外界对其在儿童安全执法方面真实承诺的质疑。

深度分析

‘起诉自家用户’的策略——这一法律新举究竟意味着什么

xAI 诉哈伍德案引人注目的地方主要不在于儿童保护行动,而在于其法律策略。通过起诉自身用户违反服务条款,xAI 试图确立一项法律先例:即合同中的赔偿条款可将主要责任从人工智能平台转移至故意绕过其安全机制的个人 [1]。如果法院接受这一论点,将为所有生成式人工智能公司立即提供一个可复制的模板。平台成为被滥用的受害者,而恶意行为者承担全部法律责任。这与另一项集体诉讼中原告受害者所主张的观点形成对立——即 xAI 作为 Grok 的设计者、推广者和受益方,应对模型输出造成的伤害承担首要责任 [2]

这种矛盾不仅仅是修辞层面的。《通信规范法》第 230 条历来保护平台免于承担第三方“创作”内容的责任——但法律专家指出,该条款并不保护平台免于承担其自身生成或共同生成内容的责任 [3]。Grok 并非仅仅托管用户上传的 CSAM;它在处理提示词时会主动合成新内容。这种共同创作者的角色可能使 xAI 超出第 230 条的安全港范围,从根本上改变所有多模态人工智能公司的责任计算方式。哈伍德案正是 xAI 试图抢先确立法院立场——即输入提示词的人类,而非构建模型的公司,才应承担最终法律责任。

90% 的问题——xAI 的执法姿态与其报告记录相矛盾

xAI 公布的执法数据旨在给人留下深刻印象:2026 年暂停了 52,222 个账户,向 NCMEC 提交了 73,604 份报告,促成 244 起逮捕 [4]。但集体诉讼诉状中隐藏着一个关键限定条件:NCMEC 发现这些报告中有 90% 无法被执法部门采取行动 [2]。原因在于系统性缺失——xAI 据称未在报告中包含用户 IP 地址,也未附上 AI 生成的 CSAM 图像,仅提交了原始上传的照片。执法部门无法从缺少作案者网络信息的报告中识别嫌疑人。

在简·多伊 4 的具体案例中,她的继父利用 Grok 从一张她 11 岁时拍摄的照片生成了约 7,000 张色情图像 [2]。当 xAI 向 NCMEC 报告该行为时,显然只包含了原始照片,而未包含 7,000 多张生成图像——这些正是能证明伤害规模的关键证据。她的继父通过其他途径被捕,并在两天后自杀身亡。针对哈伍德的诉讼是在 NCMEC 报告问题被发现七个月后才提起的,却未解决这一漏洞。一家提交了 90% 无效 CSAM 报告却大肆宣传 244 起逮捕的公司,是在操控叙事,而非解决报告质量问题。

提示词越狱即基础设施失效——而非用户病理问题

诉状以异常具体的细节记录了哈伍德如何击败 Grok 内容过滤器的技术过程。他上传了一张约 10-11 岁儿童的照片,并要求移除衣物并生成“花花公子模特印象” [5]。当 Grok 拒绝后,他并未放弃,而是不断提交略微修改的提示词,调整措辞直至系统最终妥协。这是一种标准的越狱方法:持续优化请求,直到找到并突破模型的拒绝边界。

其重要性不在于恶意行为者有耐心——这本可预见。关键在于 Grok 内容审核的架构使得耐心足以成功。一个拒绝不良提示词却不标记账户、不限制尝试频率、不将多次拒绝关联为滥用信号、且允许无限次提交新提示词的系统,无法抵御愿意持续迭代的动机明确的攻击者。诉状描述 Grok 在问题被发现前的 11 天内生成了约 300 万张色情化图像——每分钟 190 张 [6]。这并非关于黑客技能超群的故事,而是关于一个在提示词拒绝层面之下缺乏检测层的系统的故事。‘比其他 AI 模型限制更少’的设计原则 [7]——这正是吸引恶意行为者专门使用 Grok 的原因——是此次针对哈伍德的诉讼所未触及的根本性基础设施缺陷。

开源权重供应链问题——为何 Stability AI 现在成为被告

2026 年 7 月 7 日的修订诉状将 Stability AI 增列为共同被告——此举将法律理论从产品滥用扩展至人工智能模型供应链责任 [7]。指控称 Stability AI 使用包含 CSAM 的数据集训练了 Stable Diffusion,并为提高采用率,故意在 Stable Diffusion 2.0 中移除了反 CSAM 安全限制 [7]。原告指控这些开源权重模型随后成为第三方“脱衣”应用程序的技术基础,这些应用扩散至任何单一公司都无法控制的程度。

原告律师之一凡妮莎·贝尔-琼斯(Vanessa Baehr-Jones)表示,Stability AI “明知其模型可生成 CSAM,却故意选择增长而非儿童安全” [2]。如果法院采纳这一理论,将不仅使部署 AI 模型的公司面临责任,也使训练并发布模型权重、供下游行为者用于构建有害应用的公司面临责任。这比以往任何法律行动所追求的 AI 公司责任范围都要广泛得多——且这一挑战出现在开源权重 AI 生态系统快速增长且基本不受监管的时刻。

历史背景

xAI 为付费订阅用户(SuperGrok、X Premium+)推出 Spicy Mode 与 Grok Imagine,削弱了显性内容的安全防护。
哈伍德开始使用 Grok 生成深度伪造内容,以虚假身份在多个账户上传成人和未成年人的非色情照片。
xAI 发现 Grok 正被大规模用于生成非自愿性图像——对抗性用户在 11 天内生成约 300 万张色情化图像(其中约 23,000 张看似描绘儿童)。
xAI 在因深度伪造色情内容引发舆论批评后限制其图像编辑工具,但批评者指出变通方法仍广泛存在。
哈伍德被儿童网络犯罪特别工作组逮捕,面临三项二级和五项三级未成年人性剥削重罪指控。
在加利福尼亚州北区法院针对 xAI 提起集体诉讼,指控其明知 Grok 具备生成 CSAM 的能力却仍设计并从中获利,同时拒绝实施行业标准的安全防护措施。
加拿大隐私专员发现 Grok 的图像生成工具在缺乏适当防护措施的情况下上线,xAI 违反了加拿大的《个人信息保护与电子文件法》(PIPEDA)。
针对 xAI 的集体诉讼修订,增加简·多伊 4 和 5 为原告,并将 Stability AI 增列为共同被告,将法律挑战扩展至 AI 模型供应链。

关键关系图

关键玩家
主题

xAI 因儿童性虐待材料深度伪造起诉 Grok 用户

XA

xAI

Civil plaintiff and tech defendant - filed the landmark user suit while simultaneously defending against five victim class-action plaintiffs and facing regulatory investigations across six countries; seeking to establish user-accountability precedent via contractual indemnity.

TE

Terry Wayne Harwood

Civil defendant - 67-year-old South Carolina resident arrested March 9, 2026 by Internet Crimes Against Children Task Force on eight felony CSAM charges; allegedly used Grok from December 2025 through February 2026 under multiple false accounts to generate explicit deepfakes of minors.

JA

Jane Doe Plaintiffs (1-5)

Class-action plaintiffs in Northern District of California - real victims whose photos were used to generate CSAM; Jane Doe 4's stepfather used Grok to generate approximately 7,000 explicit images from a photo taken when she was 11, and died by suicide after arrest; Jane Doe 5's eighth-grade graduation photo was used when she was 14.

ST

Stability AI

Co-defendant added July 7, 2026 - alleged to have trained Stable Diffusion on a dataset containing CSAM, then stripped anti-CSAM safety restrictions in Stable Diffusion 2.0 to increase adoption; models are alleged to have formed the basis for third-party nudify apps.

NC

NCMEC (National Center for Missing and Exploited Children)

Mandatory reporting recipient - xAI submitted 73,604 CyberTipline reports in 2026, but NCMEC found 90% were not actionable because xAI omitted user IP addresses and the AI-generated images themselves, limiting law enforcement's ability to pursue perpetrators.

GL

Global Regulators

Enforcement actors - Canada's Privacy Commissioner found xAI violated PIPEDA (June 11, 2026); UK Ofcom opened formal investigation; France launched investigation; California AG and 35 state AGs investigated; Indonesia and Malaysia banned Grok outright; Apple threatened App Store removal.

事实来源

7 条引用
  1. [1] xAI sues Grok user over CSAM terms of service
  2. [2] Deepfake Victims Bolster Class Action Against xAI, Add Stability AI
  3. [3] Grok, Censorship, and the Collapse of Accountability
  4. [4] xAI Sues Man for Using Grok to Create CSAM Deepfakes
  5. [5] xAI sues Grok user for generating nonconsensual sexualized deepfakes
  6. [6] Grok Lawsuit for AI Deepfakes and Sexual Exploitation
  7. [7] Deepfake CSAM lawsuit against xAI, Grok expands to include Stability AI

来源文章

Top 5

THE SIGNAL.

Analysts

xAI 和 Stability AI 都知道其 AI 模型在能生成成人显性深度伪造的同时,也能生成儿童性虐待材料,却选择不实施充分的安全防护措施。

Annika K. Martin
律师,Lieff Cabraser Heimann & Bernstein

Stability AI 知道其模型可生成 CSAM,却故意选择增长而非儿童安全。

Vanessa Baehr-Jones
律师,Baehr-Jones Law

AI 图像生成工具是一种可被最恶劣行为者利用的、自由可及的武器。

Jane Doe 4
受害者原告,针对 xAI 的集体诉讼

否认 Grok 生成了未成年性图像,同时承诺将对生成非法内容的用户追究后果。

Elon Musk
xAI 首席执行官

xAI 处于矛盾的法律立场——一方面主张用户应对滥用负责,另一方面又在集体诉讼中为自己辩护,而受害者主张应由公司而非用户为 Grok 的生成内容负责。

The Next Web (legal analysis)
科技新闻与法律评论
The Crowd

We take action against illegal content on X, including Child Sexual Abuse Material (CSAM), by removing it, permanently suspending accounts, and working with local governments and law enforcement as necessary. Anyone using or prompting Grok to make illegal content will suffer the

@@Safety11044

Teens sue Elon Musk'''s xAI over Grok'''s AI-generated CSAM https://t.co/N1CgcCjBSS

@@verge58

Elon Musk'''s xAI, Grok, is generating child sexual abuse material at users''' request because, by their own admission, Grok has lapses in safeguards that should make producing CSAM impossible.

@@RAINN30
Broadcast
Grok is Generating Illegal Images

Grok is Generating Illegal Images

Musk'''s Grok AI faces more scrutiny after generating sexual deepfake images

Musk'''s Grok AI faces more scrutiny after generating sexual deepfake images

XAI Files Landmark Lawsuit Over Alleged Misuse of Grok To Create Child Sexual Abuse Material

XAI Files Landmark Lawsuit Over Alleged Misuse of Grok To Create Child Sexual Abuse Material

xAI 因儿童性虐待材料深度伪造起诉 Grok 用户 — AI 新闻 | Agentic Brew