クロワッサン：ML対応データセットのためのメタデータ形式

Google Research のソフトウェアエンジニアである Omar Benjelloun と、Google Core ML のソフトウェアエンジニアであり MLCommons 協会の会長でもある Peter Mattson によって投稿されました ![image](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj09uSTHgWmPgOkD9W1nZZj5i8uW_-pgxm-T1O5PSacF-EKvHIeIwhMr7Rgft7O3A2Rk94GWe8WboO3dUlxrqt1xz9x4I2aMKJxCUtUkR2eukbsIa8xVyAAN_LJJyMABxRqJuktFkyfhoWPDMQK3O-XgbQNJXzAILlWl3su0fd-Q_uZ-8r5r_uAU2P4srnP/s1600/CroissantHero.png) 既存のデータセットを再利用して機械学習（ML: Machine Learning）モデルを訓練しようとする ML 実践者は、データの理解やその組織化の意味付け、あるいは特徴量として使用するサブセットの特定に多くの時間を費やすことがよくあります。実際、あまりにも多くの時間が費やされるため、ML 分野における進展は根本的な障害によって阻害されています：それはデータ表現の多様性です。 ML データセットは、テキストや構造化データから画像、音声、動画に至るまで、広範なコンテンツタイプをカバーしています。同じ種類のコンテンツを扱うデータセット内であっても、各データセットにはファイルとデータ形式の独自の *ad hoc*（その場しのぎの）配置が存在します。この課題は、データの探索からモデルの訓練に至るまでの ML 開発プロセス全体を通じて生産性を低下させます。また、データセットを取り扱うために必要不可欠なツール類の開発も妨げています。 データセットには、[schema.org](http://schema.org/Dataset) や [DCAT](https://www.w3.org/TR/vocab-dcat-3/) などの汎用メタデータフォーマットが存在します。しかし、これらのフォーマットはデータの発見を目的として設計されたものであり、構造化および非構造化ソースからのデータを抽出・結合する機能や、[責任ある利用](https://ai.google/responsibility/responsible-ai-practices/) を可能にするためのメタデータを含める機能、あるいはトレーニングセット、テストセット、検証セットを定義するような機械学習（ML）の利用特性を記述するための特定のニーズには対応していません。 本日、私たちは機械学習向けデータセットのための新しいメタデータフォーマットである [Croissant](https://mlcommons.org/croissant) を発表します。Croissant は、業界と学界からなるコミュニティが共同で開発したものであり、[MLCommons](https://mlcommons.org/) の取り組みの一環として作成されました。Croissant フォーマットは、実際のデータの表現方法（例えば画像やテキストファイルのフォーマットなど）を変更するものではなく、それを記述し整理するための標準的な手段を提供します。Croissant は、ウェブ上で構造化データを公開するための事実上の標準である [schema.org](https://schema.org/) を基盤としており、これはすでに 4,000 万件以上のデータセットで利用されています。Croissant はこれに、機械学習に関連するメタデータ、データリソース、データ組織化、およびデフォルトの ML セマンティクスに関する包括的なレイヤーを追加することで拡張しています。 さらに、主要なツールやリポジトリからのサポートも発表します。本日、ML データセットの広く使用されている 3 つのコレクションである [Kaggle](http://www.kaggle.com/datasets)、[Hugging Face](https://huggingface.co/datasets?other=croissant&sort=trending)、および [OpenML](https://openml.org/search?type=data) が、ホストするデータセットに対して Croissant 形式のサポートを開始します。また、[Dataset Search](http://g.co/datasetsearch) ツールを使用すれば、ユーザーは Web 上で Croissant データセットを検索できます。さらに、[TensorFlow Datasets](https://www.tensorflow.org/datasets) (TFDS) パッケージを使用して、[TensorFlow](https://www.tensorflow.org/)、[PyTorch](https://pytorch.org/)、[JAX](https://github.com/google/jax) を含む人気の高い ML フレームワークでも、Croissant データセットを容易に読み込むことができます。 ## Croissant この 1.0 リリースの Croissant には、形式に関する完全な [仕様書](https://mlcommons.org/croissant/1.0)、[例示データセット](https://github.com/mlcommons/croissant/tree/main/datasets) のセット、Croissant メタデータの検証・消費・生成を行うためのオープンソースの [Python ライブラリ](https://github.com/mlcommons/croissant/tree/main/python/mlcroissant)、そして直感的な方法で Croissant データセットの説明を読み込み、検査し、作成するためのオープンソースの [ビジュアルエディタ](https://github.com/mlcommons/croissant/tree/main/editor) が含まれています。 責任ある AI（RAI）の支援は、Croissant の取り組みにおいて最初から重要な目標の一つでした。また、データライフサイクル管理、データラベリング、参加型データ、ML の安全性と公平性の評価、説明可能性、コンプライアンスといった重要な RAI のユースケースを記述するために必要な主要なプロパティを Croissant に追加する、最初のバージョンの [Croissant RAI 語彙](https://mlcommons.org/croissant/RAI/1.0) 拡張も公開します。 ## ML データに共通フォーマットが必要なのはなぜか？ ML の作業の大部分は実際にはデータに関する作業です。トレーニングデータとは、モデルの動作を決定する「コード」です。データセットは、大規模言語モデル（LLM）のトレーニングに使用されるテキストのコレクションから、自動車の衝突回避システムのトレーニングに使用される運転シナリオ（注釈付き動画）のコレクションまで多岐にわたります。しかし、ML モデルを開発するための手順は通常、同じ反復的なデータ中心のプロセスに従います：(1) データを見つけまたは収集する、(2) データをクリーニングして洗練させる、(3) データ上でモデルをトレーニングする、(4) より多くのデータでモデルをテストする、(5) モデルが機能しないことに気づく、(6) なぜそうなるのかを理解するためにデータを分析する、(7) 実用的なモデルが達成されるまで繰り返す。共通フォーマットの欠如により、多くの手順が困難になっています。この「データ開発の負担」は、リソースに制約のある研究や初期段階の起業活動において特に重くなります。 Croissant のようなフォーマットの目的は、この一連のプロセスをより容易にすることです。例えば、メタデータは検索エンジンやデータセットリポジトリによって活用され、適切なデータセットを見つけることを容易にします。データリソースと組織情報は、データのクリーニング、精製、分析のためのツールの開発を容易にします。これらの情報とデフォルトの機械学習（ML）セマンティクスにより、ML フレームワークは最小限のコードでデータを活用してモデルのトレーニングやテストを行うことが可能になります。これらすべての改善が相まって、データ開発における負担を大幅に軽減します。 さらに、データセット作成者は、自らのデータセットの発見可能性と使いやすさを重視しています。Croissant を採用することで、利用可能な作成ツールや ML データプラットフォームからのサポートのおかげで最小限の労力で済むにもかかわらず、データセットの価値が向上します。 ## Croissant は今日何ができるのか？ Croissant エコシステム：ユーザーは Croissant データセットを検索し、主要なリポジトリからダウンロードして、お気に入りの ML フレームワークに簡単に読み込むことができます。また、Croissant エディタを使用して、Croissant メタデータの作成、検査、修正を行うことも可能です。 今日、ユーザーは以下の場所で Croissant データセットを見つけることができます： - Google Dataset Search（Croissant フィルターを提供） - HuggingFace - Kaggle - OpenML Croissant データセットを使用することで、以下が可能になります： - TensorFlow Datasets を介してデータを簡単に取り込み、TensorFlow、PyTorch、JAX などの一般的な ML フレームワークで使用可能にする。 - Croissant エディタ UI（github）を使用してメタデータの検査と修正を行う。 Croissant データセットを公開するには、ユーザーは以下の方法を利用できます： - Croissant エディタ UI（github）を使用して、ユーザーが提供するデータを分析し、Croissant メタデータの大部分を自動的に生成するとともに、RAI プロパティなどの重要なメタデータフィールドを埋める。 - データセットの Web ページの一部として Croissant 情報を公開し、発見可能かつ再利用可能にする。 - Kaggle、HuggingFace、OpenML など Croissant をサポートするリポジトリのいずれかにデータを公開し、自動的に Croissant メタデータを生成する。 ## 今後の方向性 Croissant が ML プラクティショナーを支援する可能性に私たちは興奮していますが、このフォーマットを真に有用なものにするにはコミュニティの支援が必要です。データセット作成者に対しては、Croissant メタデータの提供を検討することを推奨します。また、データセットをホストするプラットフォームに対しては、ダウンロード用の Croissant ファイルを提供し、データセット検索エンジンによって発見可能となるようデータセット Web ページ内に Croissant メタデータを埋め込むことを推奨します。ラベリングやデータ分析など ML データセットの取り扱いを支援するツールも、Croissant データセットのサポートを検討すべきです。これらすべてを組み合わせることで、データ開発の負担を軽減し、ML 研究および開発のためのより豊かなエコシステムを実現できます。 コミュニティの皆様には、[この取り組みに参加していただく](http://mlcommons.org/croissant)ことを強く推奨します。 ## 謝辞 *Croissant は、Google の [Dataset Search](https://datasetsearch.research.google.com/)、[Kaggle](https://www.kaggle.com/)、および [TensorFlow Datasets](https://www.tensorflow.org/datasets) チームによって開発されました。これは [MLCommons](http://mlcommons.org) コミュニティワーキンググループの一環として進められており、同グループには以下の組織からの貢献者も参加しています：Bayer、cTuning Foundation、DANS-KNAW、Dotphoton、Harvard、Hugging Face、Kings College London、LIST、Meta、NASA、North Carolina State University、Open Data Institute、Open University of Catalonia、Sage Bionetworks、TU Eindhoven。

クロワッサン：ML対応データセットのためのメタデータ形式

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト