OlmoEarth埋め込みの紹介：下流分析用のカスタム埋め込みエクスポート

2026年4月23日 Patrick Johnson、Favyen Bastani、Gabriel Tseng、Chris Wilhelm、Joseph Redmon、Hunter Pitelka、Patrick Beukema、Mike Jacobi、Hadrien Sablon - Ai2 [技術報告書](https://allenai.org/papers/olmoearth) [ドキュメント](https://docs.olmoearth.allenai.org/embeddings) [OlmoEarthについて詳しくはこちら](https://allenai.org/olmoearth) 地球観測モデルの構築を支援する当社のプラットフォーム[OlmoEarth Studio](https://olmoearth.allenai.org/)では、オープンソースの基盤モデルOlmoEarthによって生成された地球観測データのコンパクトな数値表現である**埋め込みベクトル（embedding vectors）**の計算とエクスポートが可能になりました。[ソースコード](https://github.com/allenai/olmoearth_pretrain)と[モデルの重み](https://huggingface.co/collections/allenai/olmoearth)は、[研究論文](https://allenai.org/papers/olmoearth)とともに一般公開されており、コミュニティはこれらの埋め込みがどのように生成されるかを正確に確認することができます。 埋め込みベクトルは、OlmoEarthの活用に対する高速かつ費用対効果の高い入り口です。これらは、類似性検索からセグメンテーション、教師なし探索に至るまで、幅広い下流タスクをサポートします。表面特性が類似する場所は同じようなベクトルになり、異なる場所のものは遠く離れた位置に配置されます。OlmoEarthの埋め込みベクトルは、当社のベンチマークおよび[独立した評価](https://arxiv.org/abs/2603.02080)において優れたパフォーマンスを示しています。エクスポートされたCloud-Optimized GeoTIFFs (COGs) は軽量で共有が容易です。Studio UIまたはAPIを通じて、関心のある領域、時間範囲、エンコーダーのバリエーション、解像度、画像ソースを選択するだけで、自由に活用できるCOGを取得できます。もしアプリケーションでより高いパフォーマンスが必要であれば、Studioは[教師ありファインチューニング (SFT)](https://docs.olmoearth.allenai.org/model-fine-tuning)もサポートしています。 カスタム計算された埋め込みベクトルは、OlmoEarth Studioのユーザーに対して現在利用可能です。アクセス権限を取得したい場合は[お問い合わせください](https://allenai.org/olmoearth)。公開されているOlmoEarthモデルを使用してご自身で埋め込みベクトルを計算するための手順は[こちら](https://github.com/allenai/rslearn/blob/master/docs/examples/OlmoEarthEmbeddings.md)でご覧いただけます。 ## Studioでの埋め込みベクトルの計算 Studioにおける埋め込みベクトルの計算は、他の予測タスクと同じワークフローに従います。まずモデルを構成して実行し、その後結果をダウンロードします。出力を調整するいくつかのパラメータがあります： - 関心領域：任意のポリゴンを描画またはアップロード；Studio が画像取得とタイル処理を行います。 - 時間範囲：1〜12ヶ月分。 - エンコーダーのバリエーション：Nano（128次元、140万パラメータ）、Tiny（192次元、620万パラメータ）、または Base（768次元、8900万パラメータ）。 - 空間解像度：1ピクセルあたり10メートル、20メートル、40メートル、または80メートル。 - 画像ソース：Sentinel-2 L2A、Sentinel-1 RTC、または両方。 Studio は、埋め込み次元ごとに1バンドを持つ COG（Cloud Optimized GeoTIFF）を提供します。ベクトルは**符号付き8ビット整数（int8）**として保存されます。値の範囲は -127 から +127 までで、-128 はノデータ（nodata）用に予約されています。浮動小数点ベクトルを取得するには、olmoearth_pretrain の [dequantize_embeddings](https://github.com/allenai/olmoearth_pretrain/blob/main/olmoearth_pretrain/evals/embedding_transforms.py) を参照してください。 すべての計算が事前計算されたグローバルアーカイブからデータを取得するのではなくオンデマンドで行われるため、あなたの埋め込みはあなたが関心を持つ条件を正確に反映します。年間スナップショットだけでなく、季節的な動態を捉えるために月次埋め込みを生成することも可能です。 ## OlmoEarth 埋め込みでできること 以下の例はすべて、40メートル解像度の OlmoEarth-v1-Tiny（192次元）埋め込みと Sentinel-2 L2A 合成画像を使用しています（ほとんどの例では年間、変化検出では月次）。Tiny は軽量なエンコーダーですが、依然として高いパフォーマンスを発揮します。独自のアプリケーションでは、計算量とストレージのコストを引き換えにより大きなバリエーションに切り替えることができます。 類似度検索：「これに似たもの」を見つける クエリピクセルを選択し、その埋め込み（embedding）を抽出して、他のすべてのピクセルとのコサイン類似度を計算します。その結果は、クエリピクルと景観が最も似ている場所と最も異なる場所を示すヒートマップになります。 このクエリはカリフォルニア州のメルセド市街地の近くに位置しています。都市部や道路廊下が明確に浮き上がり、農地は暗いままです。このモデルは、ラベルなしで建築用地と農地を区別します。 クエリを小さな農業用ウィンドウに切り替えると、そのウィンドウ内の埋め込みベクトルの平均をクエリベクトルとして定義し、最も類似度が高く、および低く類似度が低い場所のSentinel-2画像を取得して、モデルが何を似ているものとして、また異なるものとして扱っているかを確認します。 最も類似度が高いパッチ（0.89以上）はすべて、灌漑された畑を持つ農地です。最も類似度が低いもの（ほぼゼロ）は、周囲に裸地がある空港、乾燥した地形を持つ貯水池、そして乾燥した牧草地です。トレーニングデータもラベルもなく、埋め込み空間における内積のみが行われます。 フューショットセグメンテーション：景観のラベリング 類似度検索は「どこがこれに似ているか」を教えてくれますが、時には領域全体に離散ラベルが必要な場合があります。表現力がすでに豊かであるため、単純な線形分類器を用いて、非常に少ないラベル付きピクルから壁から壁までの土地被覆マップを生成できます。 これを実証するため、ベトナムのカマウ（Ca Mau）、沿岸のマングローブ地域において、わずか60ピクセル（各クラス20ピクセル）にラベル付けを行いました。ラベルソースとして[ESA WorldCover 2021](https://esa-worldcover.org/en)を使用し、マングローブ、水域、その他の3つのクラスについて、各クラスからランダムに20ピクセルをサンプリングし、特徴量ごとの標準化を行ったロジスティック回帰（logistic regression）を学習させ、地域内の全ピクセルを予測しました。 60個のラベル付きピクセルから、分類器は重み付けF1スコア（weighted F1）0.84の整合性の高いマップを生成しました。マングローブ林、潮汐水路、開水域が地域全体にわたって明確に区別されています。この分類器は急速に収束します：ラベル数を30から300に増やしても精度はほとんど変化しません。これは、埋め込み（embeddings）が大部分の重労働を担っているためです。 分析の中核は、以下の数行のPythonコードです： import rasterio import numpy as np from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression # Studioからエクスポートされた192バンドの埋め込みCOGを読み込む with rasterio.open("embeddings.tif") as ds: emb = ds.read().astype(np.float32) # (192, H, W) C, H, W = emb.shape X = emb.reshape(C, -1).T # (H*W, 192) # ラベル付きピクセルで学習し、全域を予測する clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000)) clf.fit(X[train_idx], labels[train_idx]) prediction = clf.predict(X).reshape(H, W) これは*線形プローブ*であり、ファウンデーションモデルの標準的な評価手法です。192次元のロジスティック回帰という単純なモデルが、極めて少ないラベルから土地被覆の境界を復元できるということは、Tinyエンコーダーが事前学習段階でこれらの生態学的な差異を整理・表現できていることを意味します。より大きなバリエーション（Base、768次元）は、さらに豊かな表現をエンコードします。 もし地面真値のポリゴン、現地調査のポイント、あるいは既存の大まかな地図をお持ちであれば、同様の分類器を学習させて、関心のある領域に対して全域のマップを作成することができます。 ## 変化検出：何が変わったかを見極める Studioは任意の時間解像度（月次から年次まで）で埋め込みを生成できるため、2つの時期を直接比較して地表状態が変化した箇所を特定できます。以下では、2023年9月と2024年9月の同一地域について月次Sentinel-2埋め込みを計算し、ピクセルごとのコサイン距離を測定しました。カリフォルニア州バット郡のパーク火災（2024年7月〜9月）による焼失跡地が、すぐに明確に浮き上がります。 ラベルも学習も不要です。埋め込みCOG（Cloud Optimized GeoTIFF）を2つ用意し、数行のPythonコードを実行するだけです。 ## 教師なし探索：モデルが何を見ているか クエリ地点や参照ラベルがない場合もあります。 embeddings に存在する構造を理解したいだけです。主成分分析（Principal Component Analysis, PCA）は、これを明確に行う方法です：3次元に削減し、R/G/B にマッピングして、偽カラー画像として表示します。類似した embeddings は自動的に類似した色になります。 オランダのフェルボラントは、規則的な農地パッチのグリッドを持つ干拓地の風景です。PCA による偽カラー画像は、高い忠実度でこれらの境界を再現しています。異なる作物の種類、水域、都市地域はそれぞれ明確な色調を与えられます。この embedding は、パッチや作物が何であるかを教えられることなく、景観の構造を内部化しています。 この種の教師なしビューは、関心のある領域全体でモデルがどのような構造を拾い上げたかを確認する迅速な方法です。 ## エクスポートから洞察へ 類似度検索、フューショットセグメンテーション、変化検出、PCA 探索は、標準的なラスターデータに対する単純な操作であり、数秒で実行されます。その力は embeddings にあります：地球観測データを圧縮し、多数のセンサーと数百万のトレーニング例から各場所に関する豊富な情報を捉えるベクトルに変換した学習された表現です。 カスタム埋め込みエクスポートが利用可能になりました。プロジェクトを作成し、埋め込みモデルを設定して[埋め込みの計算](https://docs.olmoearth.allenai.org/embeddings)を行ってください。エクスポートされた GeoTIFF は、QGIS、GDAL、rasterio、または独自のスクリプトなど、あらゆる地理空間ツールと互換性があります。本記事の例を再現するエンドツーエンドのコードについては、[similarity search](https://github.com/allenai/olmoearth_projects/tree/main/tutorials/embeddings/src/olmoearth_embeddings_tutorial/similarity)、[few-shot segmentation](https://github.com/allenai/olmoearth_projects/tree/main/tutorials/embeddings/src/olmoearth_embeddings_tutorial/segmentation)、[change detection](https://github.com/allenai/olmoearth_projects/tree/main/tutorials/embeddings/src/olmoearth_embeddings_tutorial/change_detection)、[PCA visualization](https://github.com/allenai/olmoearth_projects/tree/main/tutorials/embeddings/src/olmoearth_embeddings_tutorial/pca) の動作コードを含む [embeddings tutorial](https://github.com/allenai/olmoearth_projects/tree/main/tutorials/embeddings) を参照してください。ローカル環境のセットアップなしで実際に試したい場合は、[Colab notebook](https://colab.research.google.com/drive/1JnhFn0IfDJEn49S4sKuCS-mv_b4T2tU0?usp=sharing) をお試しください。 ## さらに先へ：ファインチューニング この投稿の例はすべて、タスク固有の学習を行わない凍結埋め込み（frozen embeddings）を使用しています。埋め込みは、OlmoEarthを活用するための優れた入り口です。これにより、高速かつ費用対効果の高い結果の生成が可能になり、リソースが限られた環境でも良好に動作し、共有も容易です。より高いパフォーマンスが必要なアプリケーションの場合、OlmoEarth Studioは[SFT](https://docs.olmoearth.allenai.org/model-fine-tuning)（Supervised Fine-Tuning：教師ありファインチューニング）にも対応しており、独自のラベルに基づいてタスク固有のモデルヘッドを学習させることができます。これは通常、凍結された特徴量に対する線形プローブよりも優れたパフォーマンスを発揮します。 ## 制限事項 私たちは常に事前学習のアプローチを改善していますが、上記で説明した手法のいくつかを使用して、ユースケースにおける埋め込みの品質を確認することが重要です。パフォーマンスは入力画像データの品質にも依存します。継続的な雲の被覆、大気アーティファクト、または合成期間中の観測データの欠如は、生成されるベクトルに影響を与える可能性があります。 *欧州宇宙機関（ESA）のSentinel-2 L2A画像データはMicrosoft Planetary Computer経由で取得しました。マングローブの参照データにはESA WorldCover 2021 v200を使用しました。グローバルなクラスタリング可視化には、OlmoEarth-v1-Base（768次元）を使用し、季節ごとのSentinel-2合成画像をパッチサイズ8で、1.1M件の事前学習サンプル全体に対してインスタンスレベルの埋め込みを適用しています。* ## 最新のAi2ニュースに関する月次アップデートを受け取るには、購読してください。

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト