Hugging Face Hubにストレージバケット機能を導入

記事に戻る Hugging Face Hubにストレージバケットを導入 Upvote 53 ![](https://cdn-avatars.huggingface.co/v1/production/uploads/5dd96eb166059660ed1ee413/NQtzmrDdbG0H8qkZvRyGk.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/5e48005437cb5b49818287a5/4uCXGGui-9QifAT4qelxU.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1583857146757-5e67bdd61009063689407479.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1594214747713-5e9ecfc04957053f60648a3e.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1594144055859-5ee3a7cd2a3eae3cbdad1305.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/5f17f0a0925b9863e28ad517/fXIY5i9RLsIa1v3CCuVtt.jpeg) Hugging Faceのモデルおよびデータセットリポジトリは、最終成果物を公開するのに最適です。しかし、プロダクション環境の機械学習では、頻繁に変更され、多くのジョブから同時に送信され、バージョン管理がほとんど必要とされない中間ファイル（チェックポイント、オプティマイザ状態、処理済みシャード、ログ、トレースなど）が絶えず生成されます。 ストレージバケットはまさにこの目的のために構築されました：Hub上で閲覧可能で、Pythonからスクリプト操作したり、hf CLIで管理したりできる、可変的なS3ライクなオブジェクトストレージです。 バケットを構築した理由 以下のような状況では、Gitはすぐに適切な抽象化ではないと感じられるようになります： * トレーニングクラスターが実行中にチェックポイントとオプティマイザ状態を書き込む場合 * データパイプラインが生データセットを反復的に処理する場合 * エージェントがトレース、メモリ、共有知識グラフを保存する場合 これらすべてのケースにおけるストレージの要件は同じです：高速な書き込み、必要に応じた上書き、ディレクトリの同期、古いファイルの削除、そして作業を滞りなく進めることです。 バケットは、Hub上のバージョン管理されないストレージコンテナです。ユーザーまたは組織の名前空間の下に存在し、標準的なHugging Faceのアクセス権限を持ち、非公開または公開に設定でき、ブラウザで開けるページがあり、`hf://buckets/username/my-training-bucket` のようなハンドルでプログラム的にアクセスできます。 Xetが重要な理由 バケットは、Hugging FaceのチャンクベースのストレージバックエンドであるXet上に構築されています。これは見た目以上に重要な点です。 Xetは、ファイルを単一の塊として扱う代わりに、コンテンツをチャンクに分割し、それらをまたいで重複排除を行います。生データとほとんど同じ処理済みデータセットをアップロードしますか？多くのチャンクは既に存在しています。モデルの大部分が固定された連続的なチェックポイントを保存しますか？同じことです。バケットは既に存在するバイトをスキップするため、帯域幅の削減、転送の高速化、ストレージの効率化が実現します。 これは機械学習ワークロードに自然に適合します。トレーニングパイプラインは常に関連する成果物群（生データと処理済みデータ、連続するチェックポイント、エージェントのトレースと派生サマリー）を生成し、Xetはその重複を活用するように設計されています。 エンタープライズ顧客にとっては、課金は重複排除されたストレージ容量に基づくため、共有チャンクは課金対象のフットプリントを直接削減します。重複排除は速度とコストの両方に寄与します。 プリウォーミング：データをコンピュートリソースに近づける バケットはHub上に存在するため、デフォルトではグローバルストレージです。しかし、分散トレーニングや大規模パイプラインにおいて、すべてのワークロードが、データがたまたま存在する場所からデータを取得するためのコストを負担できるわけではありません。ストレージの場所はスループットに直接影響します。 プリウォーミングにより、ホットデータをコンピュートリソースが実行されるクラウドプロバイダーとリージョンに近づけることができます。データが読み取りのたびにリージョンをまたがって移動する代わりに、必要な場所を宣言すると、バケットはジョブ開始時に既にそこにデータがあることを保証します。これは、大規模なデータセットやチェックポイントへの高速アクセスが必要なトレーニングクラスターや、パイプラインの異なる部分が異なるクラウドで実行されるマルチリージョン設定で特に有用です。 まずはAWSとGCPと提携しており、今後さらに多くのクラウドプロバイダーが追加される予定です。 はじめに hf CLIを使用すれば、2分以内にバケットを立ち上げて実行できます。 ``` curl -LsSf https://hf.co/cli/install.sh | bash hf auth login ``` プロジェクト用のバケットを作成します： ``` hf buckets create my-training-bucket --private ``` トレーニングジョブがローカルの `./checkpoints` にチェックポイントを書き込んでいるとします。 ``` hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints ``` 大規模な転送では、実際の移動前に何が起こるかを確認したいかもしれません。`--dry-run` オプションを使用します。 ``` hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints --dry-run ``` また、計画をファイルに保存してレビューし、後で適用することもできます： ``` hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints --plan sync-plan.jsonl hf buckets sync --apply sync-plan.jsonl ``` 完了したら、CLIからバケットを確認します： ``` hf buckets list username/my-training-bucket -h ``` または、Hub上で直接閲覧します：`https://huggingface.co/buckets/username/my-training-bucket` これが全体の流れです。バケットを作成し、作業データを同期し、必要に応じて確認し、公開する価値のあるものにはバージョン管理されたリポジトリを保存します。単発の操作には、`hf buckets cp` や `hf buckets remove` も使用できます。 Pythonからバケットを使用する 上記のすべては、`huggingface_hub` ライブラリを介してPythonからも動作します。 ```python from huggingface_hub import create_bucket, list_bucket_tree, sync_bucket create_bucket("my-training-bucket", private=True, exist_ok=True) sync_bucket( "./checkpoints", "hf://buckets/username/my-training-bucket/checkpoints", ) for item in list_bucket_tree( "username/my-training-bucket", prefix="checkpoints", recursive=True, ): print(item.path, item.size) ``` これにより、バケットをトレーニングスクリプト、データパイプライン、または成果物をプログラム的に管理する任意のサービスに簡単に統合できます。Pythonクライアントは、より細かい制御が必要な場合のバッチアップロード、選択的ダウンロード、削除、バケット移動もサポートしています。 バケットサポートは、JavaScriptでは `@huggingface/hub` を介して利用可能です。 ファイルシステム統合 バケットは `HfFileSystem` (`huggingface_hub` の一部) を介しても動作します。 ```python from huggingface_hub import hffs # バケットディレクトリ内のファイルをリスト hffs.ls("buckets/username/my-training-bucket/checkpoints", detail=False) # 特定のファイルをグロブ hffs.glob("buckets/username/my-training-bucket/**/*.parquet") # ファイルを直接読み取り with hffs.open("buckets/username/my-training-bucket/config.yaml", "r") as f: print(f.read()) ``` `fsspec` はリモートファイルシステムの標準的なPythonインターフェースであるため、pandas、Polars、Dask などのライブラリは `hf://` プロトコルを使用してバケットから読み取り、書き込みができます。 ```python import pandas as pd # バケットから直接CSVを読み取り df = pd.read_csv("hf://buckets/username/my-training-bucket/results.csv") # 結果を書き戻し df.to_csv("hf://buckets/username/my-training-bucket/summary.csv") ``` これにより、コードのファイル読み書き方法を変更することなく、既存のデータワークフローにバケットを簡単に組み込むことができます。 バケットからバージョン管理リポジトリへ バケットは、成果物がまだ流動的な状態にある間、それらが存在する高速で可変的な場所です。何かが安定した成果物になると、通常はバージョン管理されたモデルまたはデータセットリポジトリに属します。 ロードマップ上では、バケットとリポジトリ間の双方向直接転送をサポートする予定です：最終的なチェックポイントの重みをモデルリポジトリに昇格させたり、パイプライン完了後に処理済みシャードをデータセットリポジトリにコミットしたりします。作業レイヤーと公開レイヤーは分離されたままですが、一連のHubネイティブなワークフローに適合します。 ローンチパートナーに信頼されています バケットを全員に公開する前に、少数のローンチパートナーグループとプライベートベータを実施しました。 初期バージョンをテストし、バグを発見し、この機能を直接的に形作ったフィードバックを共有してくれたJasper、Arcee、IBM、PixAIに心から感謝します。 結論とリソース ストレージバケットは、Hubに欠けていたストレージレイヤーをもたらします。これらは、機械学習の可変的で高スループットな側面（チェックポイント、処理済みデータ、エージェントトレース、ログ、最終的な成果物になる前に有用なその他すべて）のためのHubネイティブな場所を提供します。 Xet上に構築されているため、バケットはすべてをGit経由で強制するよりも使いやすいだけでなく、AIシステムが常に生成する種類の関連成果物に対してより効率的です。これは、より高速な転送、より優れた重複排除、およびエンタープライズプランでは重複排除されたフットプリントの恩恵を受ける課金を意味します。 既にHubを使用している場合、バケットによりワークフローのより多くの部分を一箇所に保つことができます。S3スタイルのストレージから来た場合、AI成果物により適した親しみやすいモデルと、Hub上での最終公開への明確な道筋を提供します。 バケットは既存のHubストレージプランに含まれています。無料アカウントには開始用のストレージが付属し、PROおよびエンタープライズプランではより高い制限を提供します。詳細はストレージページをご覧ください。 さらに読み、自分で試してみてください： * インストールガイド * CLIガイドとリファレンス * Hub上のバケット例 * ストレージ料金 ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1659336880158-6273f303f6d63a28483fde12.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61d2f90c3c2083e1c08af22d/jn21aKijwBnopk7aUJUkq.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/61a5dcedf14aa6d7c74925f7/ZbVN8MsvjWwanqOwUdIeC.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1624630689857-5e67de201009063689407481.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/6258561f4d4291e8e63d8ae6/EYjinEYAcbtm_dL5QmmRi.png) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/641cc77c92cd25302998b740/5A81W5s3ecLaLXFir52Rw.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/667c7853ed85453a28a05f19/H2gcBeOAorIsQj3vNinYB.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/64c3b82bfafa16b514253fd8/bivgVJJMERqvS4CfdhDmO.jpeg) ![](https://cdn-avatars.huggingface.co/v1/production/uploads/66abc1489654032803752328/TgdSHoXKcyy0uKzld7oyw.jpeg) ![](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/buckets/buckets-annoucement.png) ![](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/buckets/buckets-xet-dedup.png) ![](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/buckets/buckets-cdn-prewarm.png) ![](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/hub/buckets/buckets-launch-partners.png) ストレージバケットは、Hugging Face Hubの既存のインフラストラクチャとシームレスに統合されています。これにより、モデル、データセット、スペース（Spaces）などの他のHubリソースと同じように、バケットを管理および共有できます。 バケットは、Hugging Face Hubのアクセス制御システムを利用しています。バケットを公開（public）に設定して誰でもアクセスできるようにしたり、非公開（private）に設定して特定のユーザーや組織のみがアクセスできるようにしたりできます。また、バケット内の個々のファイルに対して、読み取り（read）や書き込み（write）などのきめ細かい権限を設定することも可能です。 バケットは、Hugging Face Hubの検索および発見機能とも統合されています。バケットにメタデータ（タイトル、説明、タグなど）を追加すると、Hub上で他のユーザーがそのバケットを見つけやすくなります。また、バケットはモデルカードやデータセットカードにリンクできるため、関連するリソースをまとめて管理できます。 ストレージバケットは、Hugging Faceのエコシステム内のさまざまなツールやサービスと連携するように設計されています。例えば、Hugging FaceのPythonライブラリ（`huggingface_hub`）を使用して、バケットとの間でファイルをアップロードおよびダウンロードできます。また、`datasets`ライブラリを使用して、バケットに保存されたデータセットを直接ロードすることも可能です。 バケットは、Hugging Face Hubの既存のワークフローを強化することを目的としています。例えば、大規模なトレーニングデータセットをバケットに保存し、それをHugging Faceのトレーニングリソース（Training Resources）で使用してモデルをトレーニングできます。または、推論結果や生成されたアセットをバケットに保存し、Hugging Face Spacesでホストされているアプリケーションからアクセスすることもできます。 ストレージバケットは、Hugging Face Hubの進化における重要な一歩です。これにより、ユーザーは機械学習のライフサイクル全体を通じて、データとモデルをより効果的に管理および共有できるようになります。私たちは、コミュニティがこの新しい機能を活用して、より協力的で効率的な機械学習ワークフローを構築することを楽しみにしています。 バケットの使用を開始するには、Hugging Face Hubのドキュメントを参照してください。そこには、バケットの作成、管理、および使用に関する詳細な手順が記載されています。また、Hugging Faceフォーラムでは、コミュニティメンバーがバケットの使用経験を共有し、質問を投稿できる場を提供しています。 ご質問やフィードバックがありましたら、お気軽にお問い合わせください。Hugging Faceチームは、ストレージバケットとHugging Face Hubの全体的な体験を継続的に改善するために、コミュニティからの意見を歓迎しています。

Hugging Face Hubにストレージバケット機能を導入

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト