多言語 AI を構築する研究者・開発者を加速させる新オープンデータセットの公開

ソフトウェアはプログラミング言語で書かれるかもしれませんが、開発者間の協働の核心には人間语言があります。開発者は README でプロジェクトの仕組みを説明し、イシューで助けを求め、プルリクエストでコードのレビュー、議論、改善を行います。この協働は英語で行われることが多いですが、常にそうとは限りません。AI がソフトウェア構築における役割をますます大きくしていく中で、多言語の開発者コンテンツはこれまで以上に重要になっています。 本日、GitHub は GitHub Multilingual Repositories Dataset を公開します。これは、非英語の自然言語コンテンツの証拠がある公開 GitHub リポジトリを研究者や開発者が発見できるよう設計されたリポジトリレベルのメタデータセットです。このセットを作成する過程で、README、イシュー、プルリクエスト間で言語分布が異なることがわかりました。例えば、イシューテキストでは韓国語が最も一般的な非英語言語ですが、README では第 5 位です。ポルトガル語は非英語の README リストでトップに立ち、300 万を超えるリポジトリを占めています。 このデータセットは現在、CC0-1.0 ライセンスの下で GitHub で利用可能です。これは、2025 年に Microsoft の欧州デジタルコミットメントの一環として行った、オープンソース AI 開発者を含む多言語データのアクセス性を高めるという約束の実行です。 データセットの内容 GitHub Multilingual Repositories Dataset は、リポジトリの内容をそのままダンプしたものではありません。代わりに、多言語での協働が行われている可能性のあるリポジトリを開発者や研究者が検索できるよう支援するメタデータセットです。このデータセットは、4,000 万を超えるリポジトリにわたる 8,000 万件以上の分類行をカバーしています。各公開リポジトリについて、以下の情報を提供します: README ファイル、最もコメントの多い issue、および最もコメントの多い pull request の言語分類を提供し、それぞれ最初の 150 文字を入力サンプルとして使用します。20 文字未満のテキストは除外されます。 各テキストソース（fastText, gcld3, lingua-py）ごとの分類と、それぞれの信頼度スコアを提供します。このデータセットには、信頼度が 0.5 を超える分類のみが含まれます。 リポジトリメタデータ：作成タイムスタンプ、ディスク使用量、スター数、フォーク数、主要プログラミング言語、SPDX ライセンス、issue および pull request のカウント、およびスナップショット日付です。 我々は意図的に、3 つの分類器を単一のラベルに統合しませんでした。異なる分類器は、特にリソースが限られた言語において、異なるカバレッジと信頼度キャリブレーションを持っています。すべての 3 つを公開することで、厳密さをどの程度にするかをユーザー自身が判断できるようにしています。高精度なギリシャ語のサブセットが必要ですか？ある信頼度閾値以上で 3 つの分類器すべてが合意することを要求してください。ロマンス諸言語の探索的研究のために広い再現性を必要としますか？1 つの分類器だけで十分かもしれません。 これを使って何ができるか このデータセットは、一般的なウェブテキストでは困難な種類の作業を目的として設計されています: 特定の言語における開発者ドキュメントやコラボレーションが含まれている可能性のあるリポジトリを発見してください。 非英語圏の開発者コミュニティが、イシュー、プルリクエスト、README をどのように使用しているかを研究してください。 多言語にわたって適切に動作する必要がある AI コーディングツール、ドキュメント生成器、またはレビュー支援ツールのための評価セットを構築してください。 開発者の豊かな多言語的多様性に関するデータに基づく論拠を用いて、意思決定者が新しい開発者ツールや AI 機能の言語カバレッジを拡大することを促してください。 オープンソースにおける欧州諸語およびその他の少数派言語の代表性を測定してください。 いくつかの注意点 言語識別は困難です。特にソフトウェアリポジトリにおいてはそうです。リポジトリ内のテキストはしばしば短く、バッジ、テンプレート、インストールコマンド、コードスニペット、ユーザー名、または混合された言語コンテンツを含む可能性があります。150 文字のサンプルがリポジトリ全体を代表するとは限りません。また、分類器のカバレッジや較正も言語によって異なり、特に低資源言語においては顕著です。 そのため、このデータセットは言語識別のための絶対的な真値ベンチマークとして扱うべきではありません。むしろ、これは透明性の高い発見ツールとして設計されています。ユーザーは分類結果、信頼度スコア、およびソースを検査し、自身の研究や開発ワークフローに適合する精度と再現率のトレードオフを選択できます。 また、このデータセットを使用して、リポジトリの所有者、貢献者、またはコミュニティに関する機微な属性を推測してはなりません。これらのシグナルはリポジトリレベルのメタデータであり、個人レベルの属性ではありません。 なぜ多言語オープンデータが重要なのか 現在、AI システムの構築と評価に用いられるオンラインテキストにおいて、多くのヨーロッパ諸語は依然として過小表現されています。これは、AI ツールが一部の開発者、言語、コミュニティに対しては良好に機能する一方で、他の人々を取り残すリスクを生み出します。オープンデータはこの格差を埋める手助けとなります。私たちはこのデータセットを構築しました。なぜなら、開発者向けのコンテンツは一般的なウェブテキストとは異なるからです。README ファイル、イシュー（課題）、プルリクエストには、ソフトウェア協働における言語が詰まっています：インストール手順、バグ報告、機能要望、レビューコメント、そしてコミュニティの規範です。こうした文脈は、開発者が実際にどのように作業を行っているかをよりよく理解できる AI システムを構築する上で役立ちます。 多言語の開発者向けコンテンツシグナルを検出し分析しやすくすることで、このデータセットは研究者、オープンソース開発者、モデルビルダーに対し、ソフトウェア開発における言語表現を研究するための新たなツールを提供します。これにより、格差の特定が可能となり、より良い評価を支援し、ヨーロッパ内外の開発者向けのより包括的な AI ツールを導く情報となります。また、これはより広範な原則を反映しています：開発者向けに AI を構築する際には、開発者が実際に使用するコミュニティ、言語、ワークフローを含めるべきです。 今後の展望 6 月 16 日、ストラスブールで開催されるオープン・イノベーション・ダイアログ・ハブにおいて、本データセットと多言語 AI におけるオープンデータの広範な重要性について議論いたします。本イベントはマイクロソフト・オープン・イノベーション・センター、欧州評議会、GitHub が共催し、政策決定者、研究者、文化機関、そしてオープン・イノベーションのリーダーが集まり、AI、言語的多様性、文化的遺産、およびオープンデータについて議論する場となります。 多言語 AI には、多言語の開発者コミュニティが必要です。本データセットが、より多くの人々がこれらのコミュニティを研究し、支援し、構築するための手助けとなることを願っています。GitHub で CC0-1.0 ライセンスの下で公開することで、研究者、オープンソースのメンテナ、モデルビルダーに対して、このデータセットを利用し、批判的に検討し、拡張し、その上に評価セットやツールを構築することを呼びかけています。 もし本データセットを用いて興味深い取り組みを行った場合は、ぜひお知らせください。 本記事「新しいオープンデータセットで多言語 AI を構築する研究者と開発者を加速」は、最初に The GitHub Blog に掲載されました。

多言語 AI を構築する研究者・開発者を加速させる新オープンデータセットの公開

背景や根拠まで確認しますか？

調べる

選ぶ

サイト