AI データセンターの急成長がハードディスク不足を招き、インターネットアーカイブのコストと難易度が上昇
本文の状態
日本語全文を表示中
詳細モードで約8分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
404 Media
AI データセンターの急激な拡大によりハードディスク需要が逼迫し、価格が高騰している。この状況は、インターネットアーカイブや学術研究を行う組織にとって、データを保存・記録するコスト増と作業の困難化を招いている。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
imageAI データセンターのブームによって引き起こされたハードディスクドライブおよびストレージコストの急騰により、デジタルアーキビスト、学者、ウィキペディア、そして趣味でデータを収集する人々にとって、データの保存やインターネットのアーカイブ化がより高価かつ困難になっています。インターネット・アーカイブのような著名な組織が好んで使用する特定のドライブは、価格が大幅に上昇したか、あるいは全く入手困難になっているとアーキビストたちは述べています。
過去数ヶ月の間、消費者向けおよびエンタープライズ向けのソリッドステートドライブ（SSD）、ハードディスクドライブ、その他のストレージタイプの価格は急騰しました。例えば、昨秋に 159 ドルで購入した 2TB の外付け Samsung SSD は、現在では 575 ドルとなっています。異なる種類のドライブの平均価格を追跡するウェブサイト「PC Part Picker」は、昨年 10 月頃からストレージ価格が全体的に上昇していることを示しています。同サイトが追跡する多くのドライブの価格は倍増し、あるいは 150 パーセント以上も増加しており、一部の店舗では SSD やハードディスクドライブが完全に売り切れとなっています。さらに、一部の SSD には二次市場さえ生まれ、人々が eBay などで転売して利益を得ています。
インターネット史上最も重要なアーカイブプロジェクトであるインターネット・アーカイブおよびウェイバックマシンの創設者である Brewster Kahle は、404 Media の取材に対し、ストレージコストの急騰は「時間と費用を失う非常に現実的な問題だ」と語りました。
「28〜30TB のドライブが、入手できないか非常に高価になっていることがわかりました」とカール氏は語った。「私たちは毎日 100 テラバイト以上の新しい資料を収集しており、すでにアーカイブされた資料は 210 ペタバイトを超えていますが、これらのマシンには継続的なアップグレードとメンテナンスが必要です。そのため、常に新しいハードドライブを手に入れる必要があります。」
「アーカイブに寄付してくれる活発なコミュニティを持っていることに幸運を感じていますし、こうした困難な時期においてハードドライブメーカーからの支援も求めています。私たちは常にさらなる支援を模索しています」と彼は付け加えた。「これまでにこれらの不足に対処する方法は見つけていますが、これは私たちに時間と費用を要する非常に現実的な問題です。」
ウィキペディアやロイヤリティフリーメディアのオープンリポジトリであるウィキメディア・コモンズなど、さまざまなプロジェクトを運営しているウィキメディア財団は、404 Media に対し、ストレージのコストが同財団のプロジェクトにとっても懸念事項になっていると伝えた。
「ウィキペディアだけでも記事数は 6500 万を超えており、サーバーおよびストレージ容量へのアクセスは私たちにとって極めて重要です。2025 年末以降、価格の上昇を確かに見てきました。業界の他のプレイヤー同様、この価格上昇は私たちが懸念している点です。主な影響はメモリーとハードディスクドライブ（HDD）の購入におけるものですが、サーバー納期の遅延や将来の発注能力にも及んでいます」と、ウィキメディア財団のスポークスマンは語りました。「ウィキメディア財団は非営利団体であり、そのために予算配分を非常に慎重に検討しています。私たちは世界中のユーザーに対応するため、自らのデータセンターを運営しています。可能な限り代替策を講じており、主にハードウェアへの投資優先順位を賢く設定し、柔軟性を組み込み、既存のハードウェアの寿命を延長することに取り組んでいます。」
SSD や RAM の価格が急騰する影響を受けましたか？ぜひお聞かせください。業務用デバイスではなく、Signal で安全にメッセージを送信できます（jason.404）。または、jason@404media.co までメールをお送りください。
ハードディスクやその他のストレージシステムの最大手メーカーの一つである Western Digital は、2026 年の在庫を企業顧客にほぼ完売したと発表しました。これらの企業の多くはデータセンターを運営しています。
RAM や SSD を Crucial というブランド名で製造していた Micron は、「AI に支えられたデータセンターの成長が、メモリおよびストレージへの需要急増をもたらしている」として、消費者市場から完全に撤退しました。Micron は「より急速に成長するセグメントにおける、より大規模で戦略的な顧客に対する供給とサポートを改善するために、Crucial の消費者向け事業からの撤退という困難な決断を下した」と述べています。
このように AI ブームは、複数の側面で重要なアーカイブプロジェクトを損なっています。AI 企業が大規模言語モデルの訓練のためにインターネット全体を無差別にスクレイピングしていることへの反応として、ウェブサイト運営者は登録壁を設置したり、robots.txt を変更してボットのアクセスを拒否することでウェブスクレイパーをブロックしたり、その他の方法でボットが自社のウェブサイトにアクセスするのを阻止しようとするケースが増えています。これらのウェブサイトの多くは、意図的か偶然かを問わず、Internet Archive や他のアーカイブプロジェクトのボットからのアクセスをブロックしてしまっています。
Electronic Frontier Foundation は、「Internet Archive をブロックしても AI 自体は止まらないが、ウェブの歴史的記録が消えてしまう」と指摘しています。さらにこの物流上の課題に加え、アーキビストたちは、場合によってはストレージが尽きてきているため、どのように何をアーカイブするかという困難な決断を迫られています。
大統領交代時に政府ウェブサイトをアーカイブする「End of Term Archive」の運営を支援しているノーステキサス大学のマーク・フィリップス教授は、404 Media に対し、最近インフラのコストについて考慮せざるを得なくなったと語りました。「サーバーの一部を更新した際、その機器に必要な RAM（ランダムアクセスメモリ）や SSD（ソリッドステートドライブ）のコストが劇的に上昇し、当初予定していたキャパシティを見直すことになりました」と彼は述べています。「過去 6 ヶ月間で大容量ストレージの購入を余儀なくされたことはありません。実際に購入が必要となる頃には市場価格も少し落ち着いていることを願っています」。
ストレージコストは、デジタル図書館員や趣味のアーキビストが異なるアーカイブ構成について議論する Reddit の r/DataHoarder コミュニティにおいて、常に話題となっています。多くの投稿者は、ドライブの購入を中止せざるを得なかったり、アーカイブ計画を一時停止したり、あるいはドライブ価格の高騰に不満をぶつけたりしていることを明かしています。まれには、セール品やリサイクルショップで良心的な価格で大容量ドライブを見つけられたという投稿も見られます。これらの投稿の多くは、価格が下がるまで新しいコンテンツのアーカイブを諦めた人々によるものです：
「今はもう続けるのをやめようと決めました。最近はあまりダウンロードしなくなりました。現在のデータを維持するだけです」
「現在は獲れるものが少ない状況です。Facebook マーケットプレイスもチェックしてみてください。たまに、誤って SAS ドライブを購入して使えなくなった人から良い取引ができることがあります。」
「周りに放置されている古い小型ドライブを効率的に活用する方法を探しています。バックアップ用の容量がもっと必要だからです。今すぐ 28TB のドライブを買うことはできません。保有しているスペースを延ばすために、バックアップの保持期間を見直し始めました。」
「財布を開くしかないか、この状況を乗り切って価格が下がるのを待つしかありません。」
「今、新しいドライブを購入するのはやめておいたほうがよいでしょう。むしろ、今後実際にドライブが供給されることを祈るべきです。」
「私が見積もりを依頼した際、関わったすべてのベンダーが夕食をご馳走し、『待ってください』と言いました。」
「ブッハアアアアアアアアアアアア……2029 年まで、いやもしかしたらそれ以降です。すべての AI データセンターやデータセンターはハードドライブを事前に予約済みなのです。」
皆の頭にあるのは、「この不足状態はいつまで続くのか」、そして「ストレージの価格は再び下がるのだろうか」という疑問です。
原文を表示
imageSkyrocketing hard drive and storage costs caused by the AI data center boom are making it more expensive and more difficult for digital archivists, academics, Wikipedia, and hobby data hoarders to save data and archive the internet. Specific drives favored by some high profile organizations like the Internet Archive have become far more expensive or are difficult to find at all, archivists said.
Over the last several months, prices for both consumer level and enterprise solid state drives, hard drives, and other types of storage have skyrocketed. As an example, a 2TB external Samsung SSD I purchased last fall for $159 now costs $575. PC Part Picker, a website that tracks the average price of different types of drives, shows a universal increase in storage prices starting in about October of last year. Prices of many of the drives it tracks have doubled or increased by more than 150 percent, and at some stores SSDs and hard drives are simply sold out. There is now even a secondary market for some SSDs, with people scalping them on eBay and elsewhere.
Brewster Kahle, founder of the Internet Archive and the Wayback Machine, the most important archiving projects in the history of the internet, told 404 Media that the skyrocketing costs of storage is “a very real issue costing us time and money.”
“We have found that the preferred 28-30TB drives are just not available or at very high price,” Kahle said. “We gather over 100 terabytes of new materials each day, and we have over 210 Petabytes of materials already archived on machines that need continuous upgrades and maintenance, so we need to constantly get new hard drives.”
“We are fortunate to have an active community that donates to the Archive, and we are also looking for help from hard drive manufacturers in these difficult times. We are always looking for more help,” he added. “So far we have ways to work around these shortages, but it is a very real issue causing us time and money.”
The Wikimedia Foundation, which runs Wikipedia and various other projects, including Wikimedia Commons, an open repository of royalty free media, told 404 Media that the cost of storage has become a concern for the foundation’s projects as well.
“With over 65 million articles on Wikipedia alone, access to server and storage capacity is vital to us. We’ve certainly seen price increases since the end of 2025.These price increases are of concern to us, as with every other player in the industry. We see the primary impact in the purchase of memory and hard drives but also in terms of lead times on server deliveries and our capacity to place future orders,” a Wikimedia Foundation spokesperson told us. “The Wikimedia Foundation is a non-profit, and as such how we allocate budget is very carefully considered. We maintain our own data centers to serve our users from all over the world. We’re putting workarounds in place where we can, mainly involving being smart with how we prioritize investment in hardware, building in flexibility as well as extending the life of existing hardware where possible.”
Have you been affected by skyrocketing SSD or RAM prices? I would love to hear from you. Using a non-work device, you can message me securely on Signal at jason.404. Otherwise, send me an email at jason@404media.co.
Western Digital, one of the largest manufacturers of hard drives and other storage systems, said that it has essentially sold out of its 2026 inventory to enterprise clients, many of which run data centers. Micron, which made RAM and SSDs under the brand name Crucial, has exited the consumer market altogether because “AI-driven growth in the data center has led to a surge in demand for memory and storage. Micron has made the difficult decision to exit the Crucial consumer business in order to improve supply and support for our larger, strategic customers in faster-growing segments.”
The AI boom is thus harming critical archiving projects in multiple ways. As a reaction to AI companies indiscriminately scraping the entire internet to train their large language models, website owners have increasingly put up registration walls, blocked web scrapers by changing their robots.txt to disallow bots, and have otherwise attempted to stop bots from accessing their websites. Many of these websites have either accidentally or purposefully ended up blocking bots from the Internet Archive and other archiving projects. The Electronic Frontier Foundation suggested “blocking the Internet Archive won’t stop AI, but it will erase the web’s historical record.” Beyond that logistical challenge, archivists are now needing to make difficult decisions about how and what to archive because they are, in some cases, simply running out of storage.
Mark Phillips, a University of North Texas professor who helps runs the End of Term Archive, which archives government websites between changes in presidential administrations, told 404 Media that he has had to consider the price of infrastructure recently: “When we went to refresh some of our servers, the costs of the RAM and SSDs for those machines were a dramatic increase and made us rethink some of the capacity we were hoping to go with,” he said. “We have not had to do any major storage purchases in the past six months, and I hope that by the time we do the market will have leveled out a bit.”
The cost of storage has become a constant topic of discussion on Reddit’s r/DataHoarder community, where digital librarians and hobby archivists discuss different archiving setups; many posts are from people who say they have simply had to stop buying drives, have had to put their archiving plans on hold, or are looking to vent about the price of drives. Occasionally, there are posts from people who managed to find a large drive for a decent price on clearance or at a thrift store. Many of these posts are from people who say that they have essentially given up on archiving new content until prices go down:
“I've decided to just call it quits for now. I don't really download much anymore. I just maintain my current data.”
“Slim pickings currently. Check Facebook marketplace as occasionally a deal can be had there especially from people who accidentally bought a sas drive and can't use it.”
“I'm looking for efficient ways to use older smaller drives that I have laying around doing nothing, because I need more space for backups. I can't see buying a 28tb drive right now. I've started adjusting my backup retentions to stretch the space I have.”
“Bust out your wallet is the only way or try to ride this out and hope prices come down.”
“You don't [buy new drives] right now. Better pray we actually get drives going forward.”
“Every vendor i worked with offered me a dinner and told me wait when i asked for a rather large quote.”
“Bwwaahahahahahahahahhahaha.....not until 2029...MAYBE. All the AI/datacenters have prepurchased hard drives.”
The question that seems to be on everyone's mind is how long will this shortage last, and will the price of storage ever go down again?
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み