AI企業が旧書を学習データとして購入

AI 企業がモデルの精度向上のためにさらなる学習データを模索する中、ある企業は古書こそが理想的なデータ源だと提案している。その理由は、これらの書籍には AI 企業が生成した「ゴミのようなデータ」が含まれていないことが確実だからだ。

"世界最高の AI 学習データは、すでに棚に眠っている"。AI 企業向けに大量の書籍取得サービスを提供し、自社のデータベースを"世界最大級"と謳う ISBNdb は、そのウェブサイトでこう述べている。「書籍とは、キュレーションされ、査読を経て、特定の分野に特化した人間の知恵です。ウェブクロールでは再現できない形で構造化されています。密度が高く、編集され、権威ある情報なのです」

ある記事では、ISBNdb が「2022 年以前に出版された印刷書籍は、AI 生成テキストが含まれていないため、AI の学習データとして理想的である」と説明しています。同記事が正しく指摘している通り、現在 AI 企業がインターネットから収集できるデータの多くには AI 生成テキストが混在しており、これが「モデル崩壊」を引き起こす恐れがあります。これは、AI 生成データを学習対象とした結果、エラーを起こしやすくなる劣化したモデルが生まれるプロセスを指します。

また記事では、自身の著作が学習目的でスクレイピングされることに反対する著者たちが、現在では AI モデルを意図的に汚染させる手法を用いることで、生成された AI モデルの機能を撹乱・破壊する文章を作成しやすくなった点にも触れています。

「LLM 登場以前の印刷書籍は、構造的にこの汚染から免れていることが保証されています。これ自体が大きな利点です……」

「この日付（2022 年以前）までに出版された物理的な書籍は、現代的な汚染ツールによる影響を完全に受けていません。」

ISBN は「国際標準図書番号」の略称で、書籍の裏面に記載される数値形式の商業識別子兼バーコードです。長年 ISBNdb は、書店や図書館、流通業者が在庫管理を行い、書籍を検索・販売するのを支援してきましたが、生成 AI の急成長により、AI 企業にとって極めて貴重な存在となっています。

同社は書籍メタデータへのアクセス販売に加え、現在では AI ラボに対して、1 回あたり 1,000 冊から最大 100 万冊に及ぶ大量の印刷書籍を調達する仲介役も担っています。ISBNdb のデータベースを活用すれば、AI 企業は重複を防ぎながら、体系的に印刷書籍を取得・スキャンし、トレーニングデータへと変換することが容易になります。

AI 企業がトレーニング用として印刷書籍を買い占めようとする動きは、1 月に作家たちによる Anthropic への著作権訴訟で注目を集めました。この訴訟で開示された内部文書には、同社が数百万冊の印刷書籍を取得・スキャンし、その過程で破棄する計画の詳細が記されていました。ワシントン・ポスト紙の報道によると、Anthropic は「ベター・ワールド・ブックス」という企業から書籍を購入しており、これは図書館や小売店、個人が書籍を販売できる複数の市場の一つです。また、Google も同様に、著作権で保護された書籍を用いて Gemini をトレーニングしたとして出版社から訴訟を起こされています。

ISBNdb は、AI 企業の身元を秘匿できることを謳っています。

「すべての取引には厳格な秘密保持契約（NDA）を締結します」と、ISBNdb のサイトは明記しています。「すべてのプロジェクトは法的拘束力のある秘密保持契約から始まります。あなたの身元、戦略、および購入対象が他者に開示されることはありません。」

ISBNdb は、AI 企業がスキャン工程で印刷された書籍を破棄している現場に遭遇したくないと考えている可能性があると指摘しています。

「イメージの問題は現実的な課題です」と同サイトは続けます。「『AI 企業が 200 万冊の書籍を廃棄』という見出しが、共感を呼ぶことはありません。」

これらの市場で外国語書籍の販売に特化するあるプロの古書商は、私にこう話しました。4 月以降、彼自身や他の古書商たちが歴史的な販売数の急増に気づき始めたといいます。この古書商は、プラットフォーム上で引き続き取引を続けるために匿名性を保つよう希望しています。

「個人的には、これらすべてに対して複雑な感情を抱いています」と、AI 企業向けにトレーニングデータとして数百冊の書籍を売却したと推測する古書商は語りました。「財務的には利益となり、売れにくい古い在庫を整理できる点でもメリットがあります。私は海外からの在庫や外国語書籍を活用して、こうした販売に適応してきました。一方で、最終的な用途には納得がいきませんし、希少な書籍がパルプ化されてしまうことにも不満を抱いています。」

この古書商によると、彼の在庫には希少品や外国語書籍、流通量の少ない本が多数含まれています。これらがトレーニングデータへの加工過程で破棄されれば、今後入手することがさらに困難になるでしょう。

販売者は、通常であれば好調な週でも週に約20冊しか売れないと言います。しかし4月以降は、毎週数百冊が定期的に売れるようになりました。購入元がAI企業であるという明確な証拠はないものの、販売者自身はその可能性を強く疑っています。

まず、彼が扱う書籍は専門書が多く、通常は学校や図書館によって購入されるものです。しかし、予算削減の影響でこうした組織からの需要は減少傾向にあります。また、大量購入は特定のトピックへの関心を反映するものですが、最近の非常に大規模な注文では、ISBN（国際標準図書番号）を持っているという一点以外に共通点がありませんでした。

この販売者はISBNを持たない希少書も扱っていますが、それらは今回の大量購入の対象には含まれていません。なお、これらの売上がISBNdbを介して行われたことや、顧客がAnthropic社や他のAI企業であるという確実な証拠は現時点では確認できていません。

「数量だけでなく、注文の奇妙さにも驚かされます」と、古書商は語りました。「以前も図書館からの注文はありましたが、通常は特定の分野や、せいぜい少し広い範囲に限定されていました。しかし現在、世界のほぼすべての図書館が予算を失っています。米国の大学図書館もほとんど購入しなくなりました。オーストラリアの図書館も同様です。注文される書籍の種類には、全く理屈がありません。さらに、価格に対する無関心も顕著です。この経路で販売された書籍の中には、明らかに高価すぎるものもありました。これは AI の仕業を示す一つの証拠でしょう。AI には資金が潤沢にあるからです。」

「私だけでしょうか？それとも昨年後半以降、自動購入（AutoBuy）の注文数が増えているのでしょうか？」と、ある古書商は 2 月、書籍販売市場である Alibris のフォーラムに投稿しました。Alibris の自動購入機能を使えば、顧客が欲しい本を登録しておき、その本が販売開始された際に自動的に購入できるようになります。「何が起きているのかコメントをください。AI がすべての本を読み込もうとしているのでしょうか？選定基準についての洞察はありますか？状態や形式（ハードカバーかソフトカバーか）、価格などに大きなばらつきがあるように見えます。」

「新規の大口購入者が現れ、一般書籍を大量に買い占めているため、多くの販売者から注文が殺到しています」と、Alibris のクライアントサービス担当ディレクターであるマイク・フェルドマン氏は回答しました。

ある古書販売業者は、同様の大量注文が「Biblio」と呼ばれる別の市場を通じて行われていると明かしました。顧客は購入したい書籍の ISBN を記載したスプレッドシートを Biblio に提供し、あとは同社が処理を進めます。

6 月にはオランダのある出版物が、複数の古書販売業者への取材を行いました。彼らは AI 企業による大量購入だと推測される、同様の大口注文があったと報告しています。

ISBNdb や Biblio、Alibris といった書籍市場やデータベースが購入者の身元を非公開にしているため、これらの書籍が AI 企業のトレーニングデータ収集のために購入され、あるいは使用後に破棄されているという事実を断定するのは困難です。大量の書籍はまず配送センターへ送られ、そこで Alibris が例のように書籍の品質チェックを行った上で、最終的な顧客へと発送されます。

著作権訴訟で明らかになった Anthropic の内部文書には、同社が数百万冊のスキャン計画を立てていたことが記されていますが、なぜその過程で書籍を破棄する必要があったのかは明確ではありません。Google Books の作成にも携わり、Anthropic からプロジェクト統括を任された Tom Harvey 氏の証言録取では、スキャン業務を委託された企業のひとつに Datamation が含まれていることが示されました。Datamation は「高容量の破壊的・非破壊的書籍スキャン」サービスの両方を提供しています。破壊的スキャンでは本の背表紙を切断してページを取り出し、機械に読み込ませるため、非破壊的な方式よりも高速かつ低コストで処理できます。

著作権訴訟において、著者側を訴えたアンソロピック社に対し、連邦裁判所のウィリアム・アルサップ判事は、デジタルコピーの作成が違法ではないと判断しました。その根拠は、元の書籍が廃棄された点にあります。

「本件では、購入した印刷版のすべてのコピーが、保存スペースの節約と、デジタル化による検索機能の向上を目的として行われました」とアルサップ判事は判決文で述べています。「印刷された原本は破棄され、新しいデジタルコピーがその役割を引き継ぎました。また、新たなデジタルコピーが社外で閲覧・共有・販売されたという証拠は一切ありません」。

アルサップ判事はこれを「明白に変容的な行為」とし、著作権法第107条に基づくフェアユース（公正利用）に該当すると結論づけました。

この法的根拠は、ISBNdbのウェブサイトでもAI企業向けに紹介されています。同サイトには、「二次市場から大量の紙書籍を購入しても、創作者が本来受け取るはずだった収入を奪うことにはならない」と記載されています。「これらはすでに創作者に対する金銭的な義務を果たし終えた書籍だからです」。

また、廃棄された書籍のリサイクルが重要である理由については、「責任ある物理的な調達とは、単なる書物焼却ではない。それは書籍のライフサイクルを完結させる行為だ」と説明しています。「木から知識へ、そして再び木へと還る循環こそが、その本質です」。

ISBNdbとアンソロピック社はいずれもコメント依頼に対して回答していません。