AI公司为大语言模型训练销毁稀有实体书籍
TECH

AI公司为大语言模型训练销毁稀有实体书籍

30+
Signals

战略概览

  • 01.
    AI公司正在批量购买稀有和绝版的实体书,通过切断书脊并用高速扫描仪扫描页面的方式进行破坏性数字化处理,随后丢弃或回收原书,以构建干净、由人类撰写的内容训练数据集。
  • 02.
    Anthropic公司内部发起了一项代号为“巴拿马计划”(Project Panama)的大规模破坏性扫描项目,内部规划文件显示该公司刻意保持该行动的保密性,预见到可能引发公众反弹。
  • 03.
    一名美国联邦法官裁定,对合法购买的实体书进行破坏性扫描属于首次销售原则下的合理使用,这与Anthropic此前因使用盗版书籍而导致15亿美元和解金的未受保护行为截然不同。
  • 04.
    数据经纪商ISBNdb曾公开宣传一项专门面向AI/大语言模型训练买家的批量购书服务,但在媒体调查后删除了相关网页,并否认曾运营过此项业务;中间商Zoom Books多次被欧洲各地书商指认为可疑大宗订单来源,但其否认这些订单与AI有关。

深度分析

必须销毁原件,否则就不算合理使用

这一物理过程是故意具有破坏性的:书籍被送入液压切割机切掉书脊,然后通过高速扫描仪逐页数字化,纸张最终被回收,不留下任何实体副本 [1]。这种速度和成本优势——被斩首的书籍比装订完整的书籍能更快地通过生产线扫描仪——正是使AI实验室在工业规模上购买并销毁书籍具备经济吸引力的原因之一 [1]。据报导,Anthropic公司自身的供应商提案曾讨论在六个月内转换50万至200万本书 [2]

在美国使其具备法律可行性的是一项狭义裁决:威廉·阿尔斯普法官(Judge William Alsup)认定,将一本合法购得的实体书破坏性地扫描成单一数字副本——即一进一出——属于首次销售原则下的转化性合理使用 [3]。该裁决仅适用于AI公司直接购买的书籍;它明确区别于Anthropic早前使用盗版书籍的行为,后者不受保护,并导致了15亿美元的和解金,这是美国历史上最大的版权和解金额 [4]。结果形成了一种奇怪的激励机制:销毁原件并非扫描的附带后果,而是维持该行为合法性的条件,因为如果不销毁原件而保留扫描件,则相当于复制了内容,超出了格式转换的范畴。

巴拿马计划的证据链

Anthropic公司内部文件,代号“巴拿马计划”,直白地将该项目描述为“旨在破坏性扫描世界上所有书籍”的努力 [1][2]。该项目可追溯至2021年,当时联合创始人本·曼恩(Ben Mann)亲自从LibGen和Books3下载了数百万本盗版书籍用于早期训练数据 [1];“巴拿马计划”后来作为经授权且可在法庭上辩护的替代方案出现——改为购买书籍而非盗版,并销毁复制证据。

同一批内部文件还显示,Anthropic预见到公众反弹,并指示员工对此保密:“我们不希望外界知道我们在做这件事” [1][5]。Anthropic聘请了前Google Books合作伙伴负责人来主导采购工作,并在消息公开前已花费数千万美元购书 [2]。这种保密行为不仅限于Anthropic——数据经纪商ISBNdb自身内部营销材料也书面承认存在相同的声誉风险:“舆论问题确实存在。‘AI公司销毁两百万本书’这样的标题不会赢得同情” [2]

否认一切的中间商

在AI实验室与古籍书商货架之间,存在着一层数据经纪商和大宗买家,他们的角色只有通过调查报道才得以曝光,而非主动披露。维护ISBN元数据的公司ISBNdb曾公开宣传分级的大宗采购服务——提供从1,000本到100万本不等的书籍,明确针对AI/大语言模型训练客户 [2][6]。在相关宣传被报道后九天内,ISBNdb便删除了网页,并否认曾运营此业务,声称“该服务从未上线”,页面内容仅为“探索性概念而非实际业务” [3][6]

加拿大公司Zoom Books多次被德国、瑞士及其他欧洲国家的书商指认为异常大宗订单的来源,也在澳大利亚关于更广泛趋势的报道中被提及,尽管该公司将其采购行为定性为普通的回收与交易活动 [6][7]。一位荷兰古籍经销商收到一家新加坡公司订购近3,000种书目的订单时,最初以为是骗局,因为他昂贵且稀有的库存通常不会以批量形式售出 [2][6]。普通书商只能猜测谁在真正购买以及为何购买,而链条两端的经纪商一旦受到关注,立即否认与AI有任何关联。

真的稀有,还是只是方便这么说?

关于损失对象的界定存在争议。公众担忧集中在AI公司正在将独特的文化遗物化为纸浆——那些独一无二的实体特征一旦被毁就永远消失,即使数字扫描件尚存 [7][8]。书商及ANZAAB等组织表达了真实不安,即便金钱回报可观,澳大利亚经销商也表示意识到类似订单浪潮已在美欧出现 [7]

另一种更为怀疑的观点认为,最引人注目的销毁案例针对的是大众市场读物或过时的学术滞销书,这些书籍原本就会被书商粉碎或回收,而非真正独一无二的孤本——因此部分恐慌更接近夸大其词,而非对实际消失物品的准确评估。两种观点可以同时成立:一些被销毁的是可处置库存,另一些确实是稀缺资源,而供应链的高度不透明——ISBNdb和Zoom Books在被点名后立即否认与AI关联——意味着无论是书商还是公众,在某本书被切割之前都难以分辨其真实价值。

扫描件最终去了哪里?

即使暂且不论实体书的命运,还有一个次级问题:数字化文本究竟流向何处?公共讨论中反复出现的一种批评意见,也在社区对该报道的辩论中得到呼应,即像“巴拿马计划”这类项目所产生的扫描件,最终消失在私人 proprietary AI训练语料库中,没有任何义务向公众开放——这与实体书被出售、捐赠或以其他方式流转的情况不同,后者理论上仍有可能重新浮现。从这个角度看,一本被销毁以喂养封闭商业模型的实体书,可能导致社会整体获取信息的能力比之前更差:没有馆藏副本,没有公共记录,只有一套锁在企业基础设施内的训练数据。

结合2025年允许破坏性但合法扫描的合理使用裁决,以及促使Anthropic支付15亿美元和解金以解决其最初通过盗版书籍进入图书领域的行为 [3][4],贯穿其中的主线是:合法性与公共利益在此已被割裂——该做法之所以合法,恰恰是因为它没有增加副本数量,而不是因为它为扫描公司以外的人群保存了任何东西。

历史背景

Anthropic联合创始人本·曼恩亲自从LibGen和Books3下载了数百万本盗版书籍。
‘巴拿马计划’的内部规划文件指示员工对破坏性书籍扫描项目保密。
在Bartz诉Anthropic案中裁定,使用合法获取并破坏性扫描的书籍训练AI属于合理使用,而通过盗版获取书籍则不属于。
Anthropic同意并最终获得法院批准,支付15亿美元和解金,涵盖约48.2万部盗版作品。
404 Media报道了ISBNdb向AI训练领域推销书籍采购服务的行为;九天后,ISBNdb删除了相关页面并否认曾涉足图书业务。
《财富》杂志报道了一位荷兰古籍书商接到可疑大宗订单(约3,000种书目)的经历,该订单后来被关联到AI书籍采购网络。

关键关系图

关键玩家
主题

AI公司为大语言模型训练销毁稀有实体书籍

AN

Anthropic

运行‘巴拿马计划’,即内部大规模破坏性扫描书籍的项目;聘请了前Google Books合作伙伴主管,并花费数千万美元购书,同时支付15亿美元和解金以解决另一起盗版索赔。

IS

ISBNdb

ISBN元数据公司,曾宣传专为AI训练需求设计的分级大宗书籍采购服务,后在记者曝光后删除页面并否认曾经营该业务,控制着AI实验室采购书籍的透明度。

ZO

Zoom Books

加拿大公司,多次被欧洲书商指认为大宗订单来源,也在澳大利亚关于AI书籍采购趋势的报道中被提及,尽管尚未确认澳洲案例;否认采购用于AI训练,称其为普通回收与交易活动。

JU

Judge William Alsup (US District Court, N.D. Cal.)

主审Bartz诉Anthropic案,划定了当前行业的法律界限:对合法购买的书籍进行破坏性扫描属于合理使用,而通过盗版获取书籍则不属于。

BO

Booksellers and ANZAAB

来自荷兰、德国、瑞士和澳大利亚的稀有及古籍书商,收到异常大宗采购请求;部分人在权衡财务收益与独特实体副本流失之间的矛盾后仍选择出售。

AU

Authors and the Authors Guild

针对Anthropic盗版行为提起诉讼的原告方;由此产生的15亿美元和解金是美国版权史上最大规模的赔偿,涵盖约48.2万部作品。

事实来源

8 条引用
  1. [1] Anthropic's Secret Book-Scanning Operation
  2. [2] The Vanishing Page: AI Firms Scan Then Destroy Rare Book Editions
  3. [3] AI Companies Can Legally Buy and Destroy Books - ISBNdb's Reversal Changed Nothing
  4. [4] Anthropic's $1.5 Billion Copyright Settlement Approved
  5. [5] Anthropic Is Destroying Books
  6. [6] Dutch Bookseller Received a Suspicious Order for 3,000 Book Copies to Scan and Destroy
  7. [7] Explained: Why Australian Booksellers Are Raising Alarm Over AI's Book Hunt
  8. [8] AI Companies Are Buying Books and Destroying Them

来源文章

Top 4

THE SIGNAL.

Analysts

承认与AI相关的大宗订单带来财务收益,但对稀有书籍被粉碎用于训练数据表示不安。

Anonymous bookseller
稀有及二手书商

内部营销文案明确承认该做法存在声誉风险,即便仍在将其作为业务线推销,并警告称‘AI公司销毁数百万本书’这样的头条新闻‘不会赢得同情’。

ISBNdb
向AI实验室推销书籍采购服务的数据经纪商

表示会员已知悉在美国和欧洲报道的与AI相关的大宗书籍订单浪潮,尽管目前澳大利亚尚未确认具体案例。

Dawn Albinger
澳大利亚与新西兰古籍书商协会(ANZAAB)主席
The Crowd

WTF AI companies are purchasing large quantities of used and rare books. Scanning their contents to train models. Then turning the originals to pulp. The sum of human thought, digitized and shredded. Every book that gets scanned disappears from the physical world permanently.

@@heyshrutimishra58903

THIS IS F*CKING DISTURBING!!! A leaked Anthropic document just came out in court. Their own words: "Project Panama is our effort to destructively scan all the books in the world." Next line: "We don't want it to be known that we are working on this." They planned to shred

@@EvanLuthra32418

Anthropic's "Project Panama" should DISTURB EVERYONE. Anthropic is secretly buying up rare books, slicing their spines, scanning them, and shredding the originals - and it's court sanctioned. Some of these are the last known physical copies in the world. Now, they're gone

@@glennbeck20887

AI companies are buying rare and out-of-print books, scanning them for training data, then destroying the physical copies forever

@u/Delicious-Act-860115000
Broadcast
What Anthropic Is Doing To Millions Of Rare Books MUST Be Stopped

What Anthropic Is Doing To Millions Of Rare Books MUST Be Stopped

AI Companies Are Destroying Rare Physical Books To Feed Their Chatbots | Vantage on Firstpost | 4K

AI Companies Are Destroying Rare Physical Books To Feed Their Chatbots | Vantage on Firstpost | 4K

AI companies are destroying books to train AI. That's bad.

AI companies are destroying books to train AI. That's bad.