AI公司为获取训练数据大规模销毁实体书籍
TECH

AI公司为获取训练数据大规模销毁实体书籍

38+
Signals

战略概览

  • 01.
    Anthropic开展了一项名为“巴拿马计划”的秘密内部项目,购买数百万本二手实体书,使用液压切割机切下书脊,扫描每一页,然后丢弃原件,以构建Claude的训练数据。
  • 02.
    Anthropic于2024年2月专门聘请了前Google Books合作伙伴负责人Tom Turvey,以寻找获取“世界上所有书籍”的方法。
  • 03.
    内部规划文件指示员工不得公开该项目,相关细节仅因Bartz诉Anthropic版权诉讼中解封的4000多页文件才得以曝光。
  • 04.
    供应商提议在六个月内转换50万至200万本书,Anthropic投入数千万美元建设采购与扫描流水线,该项目通过Datamation Information Services承包执行。

深度分析

揭秘“巴拿马计划”:从书架到碎纸机

Anthropic的一项秘密内部计划,代号“巴拿马计划”,旨在获取数百万本二手和稀有书籍,并将其转化为Claude的训练数据。2024年2月,该公司专门聘请了前Google Books合作伙伴负责人Tom Turvey,以寻找获取“世界上所有书籍”的方法。[1]内部规划文件直白地陈述了目标:“‘巴拿马计划’是我们对全球所有书籍进行破坏性扫描的努力。”[1]整个流程是工业化的而非精细的——书籍批量购入后,被送入液压驱动的切割机切下书脊,随后逐页通过高速生产线扫描仪,转换为可搜索的数字文件,散页纸张则被回收处理。[1]超过4000页详细描述该操作的文件之所以公之于众,是因为它们在作家提起的Bartz诉Anthropic版权诉讼中被法院解封。[2]Anthropic自己的规划材料显示,公司清楚公众会如何看待这一行为:“我们不希望外界知道我们正在做这件事。”[3]供应商最终提议在六个月内将50万至200万本实体书数字化,Anthropic为此投入数千万美元建设采购与扫描流水线。[1]

一项奖励企业销毁书籍的法院裁决

“巴拿马计划”之所以能够运作,根源可追溯至2025年6月的一项联邦裁决。在Bartz诉Anthropic案中,威廉·阿尔斯普法官(Judge William Alsup)裁定,使用合法购买的书籍训练AI属于“极具转化性”的合理使用;但他同时裁定,通过盗版途径(如Anthropic通过LibGen和海盗图书馆镜像获取书籍)获取书籍不属于合理使用,构成故意侵权。[4]而真正影响书籍销毁行为的关键区别更为微妙:阿尔斯普的判决认为,实体书的销毁证明了数字副本“取代”而非“复制”了原书,这正是数字化行为被认定为法律上“具有转化性”的一部分依据。[5]此后评论人士指出,这种逻辑实际上在暗中奖励企业销毁原始资料而非保留双份格式,实质上将书籍销毁变成了一种法律避风港。[7]有报道称,该裁决引发了一场AI公司之间“前所未有的竞赛”,竞相以工业规模收购并销毁书籍。[6]若书籍来源处理不当,财务风险真实存在——Anthropic最终同意支付15亿美元和解金,以解决与其盗版书籍获取相关的索赔,这是美国历史上已知金额最大的版权和解案。[8]

为AI而生的隐秘书籍中介市场

在Anthropic个案丑闻背后,存在一个更隐蔽的行业:即为AI实验室批量采购书籍并隐藏买方身份的中间商。404 Media指出,ISBNdb公司向AI企业营销2022年之前的纸质书批量采购服务(每单1000至100万本),并宣称这些书籍可保证不含“AI垃圾”——即目前充斥开放网络的机器生成文本,若在训练中摄入可能导致模型崩溃。[9]ISBNdb通过严格的保密协议(NDA)包装这些交易,确保AI买家的身份及其销毁书籍的规模永远不会公开。甚至该经纪商自身的沟通也承认了声誉风险:“形象问题确实存在”,因为“AI公司销毁两百万本书”绝非能引发公众同情的新闻标题。[9]正是这种匿名化、受NDA保护的采购渠道,使得整个AI行业书籍销毁的规模长期隐藏,直到通过诉讼取证和调查报道才浮出水面,而非任何公司的主动披露。

不仅是Anthropic:全行业的普遍模式

Anthropic是内部备忘录被曝光的公司,但远非孤例。作者们已分别指控OpenAI和微软在AI训练用书采购中侵犯版权;OpenAI承认下载了LibGen资料,但声称在ChatGPT发布前已删除这些文件。[10]Google和Meta也被列为曾竭尽全力获取大量书籍数据用于训练的科技公司之一。[11]Google目前正面临主要出版商(包括Hachette、Cengage和Elsevier)以及小说家斯科特·图罗(Scott Turow)提起的2026年新诉讼,指控其使用书籍训练Gemini——此案与2015年认定Google Books搜索片段数字化属合理使用的先例案件不同。[12]与此同时,图书馆员、古籍书商和文化保护人士警告,销毁原始书籍——尤其是稀有或孤本——将永久抹除历史文物,即使文本本身以数字形式留存。[13]无论整个行业最终销毁的书籍总数是多少,这正演变为一场涉及多家公司的法律与文化清算,而非单一企业的失误。

历史背景

联邦上诉法院裁定,Google为搜索和片段展示而进行的书籍数字化属于具有转化性的合理使用,这一先例后来被区别于用于全文AI训练的情形。
联合创始人Ben Mann从LibGen下载了数百万本书籍,后被认定为故意侵犯版权,尽管训练行为本身被裁定为合理使用。
聘请前Google Books合作伙伴负责人Tom Turvey,并启动“巴拿马计划”,即其工业级购书与破坏性扫描运营。
阿尔斯普法官裁定,使用合法获取的书籍训练AI属于合理使用,但使用盗版副本建立“中央图书馆”则不属于,后者问题被送交审判。
就用于训练Claude的盗版书籍与作者达成15亿美元和解协议,这是美国历史上已知金额最大的版权和解案。
报道了被解封的法庭文件,详细披露了Anthropic在“巴拿马计划”下对数百万本书籍进行破坏性扫描的情况。
包括Hachette、Cengage和Elsevier在内的主要出版商及小说家Scott Turow就其使用书籍训练Gemini一事对Google提起诉讼。
发布调查报道,指出ISBNdb是一家向AI开发者销售2022年前、不含AI生成‘垃圾’的实体书批量采购服务的中介商。

关键关系图

关键玩家
主题

AI公司为获取训练数据大规模销毁实体书籍

AN

Anthropic

运营“巴拿马计划”,购买并破坏性扫描数百万本实体书以训练Claude;另从LibGen和海盗图书馆镜像下载数百万本盗版书,导致达成15亿美元和解。

IS

ISBNdb

中间商,以严格保密协议为AI实验室批量采购2022年前的纸质书(每单1000至100万本),并宣传这些书籍可保证不含AI生成的‘垃圾’。

JU

Judge William Alsup (U.S. District Court, N.D. Cal.)

裁定使用合法获取的书籍训练AI属于合理使用,且破坏性扫描因数字副本取代纸质副本而被视为合理,同时裁定通过盗版获取书籍不属于合理使用。

AU

Authors Guild / plaintiff authors

提起Bartz诉Anthropic诉讼,迫使披露‘巴拿马计划’内部文件,并赢得涵盖逾48万部作品的15亿美元和解。

GO

Google and Meta

与Anthropic和OpenAI一同被列为寻求大量书籍数据用于AI训练的公司;Google目前正面临主要出版商提起的2026年新诉讼,指控其使用书籍训练Gemini。

LI

Librarians, antiquarian booksellers, and cultural preservationists

警告销毁原始书籍,尤其是稀有版本,将永久抹除历史文物,并呼吁提高透明度及采用非破坏性扫描替代方案。

事实来源

13 条引用
  1. [1] Anthropic's secret book-scanning operation revealed
  2. [2] Anthropic Project Panama scans and destroys books to train Claude
  3. [3] Anthropic Is Destroying Books
  4. [4] Federal judge rules in AI company's favor in landmark copyright case
  5. [5] What the evidence actually shows about AI companies destroying books
  6. [6] AI companies are reportedly shredding millions of books to train models
  7. [7] Why copyright law is quietly rewarding AI firms for shredding physical books
  8. [8] Anthropic settles with authors over pirated chatbot training material
  9. [9] AI Companies Are Buying Tons of Old Books Because They're Free of AI Slop
  10. [10] AI companies' demand for printed books raises copyright concerns
  11. [11] AI firms destroying millions of rare books for training data, raising alarms over cultural heritage
  12. [12] Google faces another AI training lawsuit from major publishers
  13. [13] AI companies criticised for destroying rare books

来源文章

Top 5

THE SIGNAL.

Analysts

裁定使用受版权保护的书籍训练AI属于极具转化性的合理使用,并认为破坏性数字化是合理的,因为数字副本实际上取代了纸质副本;同时裁定通过盗版获取书籍不属于合理使用。

Judge William Alsup
美国加利福尼亚北区联邦地区法院法官

内部描述表明,Anthropic本有合法途径获取书籍,但最初选择盗版,以避免Amodei所称的漫长法律与商业‘拉锯战’。

Dario Amodei
Anthropic首席执行官

认为2022年之前的纸质书是独特的优质训练数据,因其早于AI生成内容污染网络的时代,同时承认该做法存在声誉风险。

ISBNdb (company messaging)
为AI公司提供书籍采购服务的经纪商
The Crowd

WTF AI companies are purchasing large quantities of used and rare books. Scanning their contents to train models. Then turning the originals to pulp. The sum of human thought, digitized and shredded. Every book that gets scanned disappears from the physical world permanently.

@@heyshrutimishra33402

Vean el gigantesco almacén de libros que la empresa de Inteligencia Artificial Anthropic obtuvo bajo el proyecto secreto Panamá, donde usó 2 millones de libros para entrenar a su IA y luego los destruyó para evitar denuncias de derecho intelectual. El capitalismo destruye y comodifica...

@@DaniMayakovski9358

Anthropic's Project Panama looks like this. the guys who decide if you're morally mature to use frontier models, who are sitting on BILLIONS of dollars, would rather do this than spend a little more and scan books like a normal human being.

@@Hesamation318

AI Companies Are Buying Antique Books, Ingesting Their Contents to Train Models, and Then Destroying Them at Incredible Scale, Even If Almost No Copies Remain

@u/Steap-Edit2800
Broadcast
AI companies illegally downloaded & destroyed millions of books

AI companies illegally downloaded & destroyed millions of books

La oscura verdad de la IA: millones de libros son destruidos para entrenarla | Maia Jastreblansky

La oscura verdad de la IA: millones de libros son destruidos para entrenarla | Maia Jastreblansky

Why Anthropic is destroying books #Vergecast

Why Anthropic is destroying books #Vergecast