OlmoEarth Embeddingsのエクスポート（8分で読める）

2026年4月23日

パトリック・ジョンソン、ファヴィエン・バスタニ、ガブリエル・ツェン、クリス・ウィルヘルム、ジョセフ・レッドモン、ハンター・ピテルカ、パトリック・ベウケマ、マイク・ジャコビ、ハドリアン・サブロン - Ai2

技術報告書 ドキュメント OlmoEarth について詳しく

地球観測モデルの構築を支援する当社のプラットフォーム「OlmoEarth Studio」は、オープンソースの OlmoEarth 基盤モデルによって生成された地球観測データのコンパクトな数値表現である「埋め込みベクトル（embedding vectors）」の計算とエクスポートを可能にしました。ソースコードとモデルの重みは、研究論文とともに一般公開されており、コミュニティはこれらの埋め込みがどのように生成されるかを正確に確認することができます。

埋め込みベクトルは、OlmoEarthを活用するための高速でコスト効果の高い入り口です。これらは、類似性検索からセグメンテーション、教師なし探索に至るまで、幅広い下流タスクをサポートします。表面特性が類似する場所は同じようなベクトルになり、異なる場所のデータは遠く離れた位置に配置されます。OlmoEarthの埋め込みベクトルは、当社のベンチマークおよび独立した評価において優れたパフォーマンスを示しています。エクスポートされたクラウド最適化GeoTIFF（COG）は軽量で共有が容易です。Studio UIまたはAPIを通じて、関心のある領域、時間範囲、エンコーダーのバリエーション、解像度、画像ソースを選択するだけで、自由に活用できるCOGを取得できます。もしアプリケーションでより高いパフォーマンスが必要であれば、Studioは教師ありファインチューニング（SFT）もサポートしています。

カスタム計算された埋め込みベクトルは、OlmoEarth Studioのユーザーに対して現在利用可能です。アクセス権限を取得したい場合はお問い合わせください。公開されているOlmoEarthモデルを使用してご自身で埋め込みベクトルを計算するための手順はこちらでご覧いただけます。

Studioでの埋め込みベクトルの計算

Studioにおける埋め込みベクトルの計算は、他の予測タスクと同じワークフローに従います。まずモデルを設定して実行し、その後結果をダウンロードします。出力を調整するためのいくつかのパラメータがあります：

• 関心領域：任意のポリゴンを描画またはアップロードしてください。Studio が画像の取得とタイル処理を担います。
• 時間範囲：1〜12ヶ月分。
• エンコーダーのバリエーション：Nano（128次元、140万パラメータ）、Tiny（192次元、620万パラメータ）、または Base（768次元、8900万パラメータ）。
• 空間解像度：1ピクセルあたり10メートル、20メートル、40メートル、または80メートル。
• 画像ソース：Sentinel-2 L2A、Sentinel-1 RTC、または両方。

Studio は、埋め込み次元ごとに1つのバンドを持つ COG（Cloud Optimized GeoTIFF）を出力します。ベクトルは符号付き8ビット整数（int8）として保存されます。値の範囲は -127 から +127 までで、-128 は nodata（データなし）用に予約されています。浮動小数点ベクトルを取得するには、olmoearth_pretrain の dequantize_embeddings を参照してください。

すべての計算が事前計算されたグローバルアーカイブからデータを取得するのではなくオンデマンドで行われるため、あなたの埋め込みはあなたが関心を持つ条件を正確に反映します。月次埋め込みを生成することで、年間のスナップショットだけでなく季節的な動態を捉えることができます。

OlmoEarth 埋め込みでできること

以下の例はすべて、40メートル解像度の OlmoEarth-v1-Tiny（192次元）埋め込みと Sentinel-2 L2A 合成画像を使用しています（ほとんどの例では年間、変化検出では月次）。Tiny は軽量なエンコーダーですが、依然として高いパフォーマンスを発揮します。独自のアプリケーションでは、計算量とストレージのコストを引き換えにより大きなバリエーションに切り替えることができます。

類似度検索：「これに似たもの」を見つける

クエリピクセルを選択し、その埋め込み（embedding）を抽出して、他のすべてのピクセルとのコサイン類似度（cosine similarity）を計算します。その結果、クエリピクセルと最も似ている場所と最も似ていない場所を示すヒートマップが得られます。

このクエリはカリフォルニア州のメルセド市街地の近くに位置しています。都市部や道路廊下が明確に浮き上がり、農地は暗いままです。このモデルは、ラベルなしで建築用地と農地を区別します。

クエリを小さな農業領域のウィンドウに切り替えると、そのウィンドウ内の埋め込みベクトルの平均をクエリベクトルとして定義し、最も類似度が高く、および低く類似度が低い場所のSentinel-2画像を取得して、モデルが何を似ているものとして、また異なるものとして扱っているかを確認します。

最も類似度が高いパッチ（0.89以上）はすべて、灌漑された畑を持つ農業区域です。最も類似度が低いもの（ほぼゼロ）は、周囲の裸地がある空港、乾燥した地形を持つ貯水池、そして乾燥した牧草地です。トレーニングデータもラベルもなく、埋め込み空間での内積計算のみが行われます。

フューショットセグメンテーション：景観のラベリング

類似度検索は「どこがこれに似ているか」を教えてくれますが、時には領域全体に離散ラベルが必要な場合があります。表現力がすでに豊かであるため、単純な線形分類器を用いて、非常に少ないラベル付きピクセルから壁から壁までの土地被覆マップを生成できます。

これを実証するため、ベトナムのカマウ（沿岸のマングローブ地域）上でわずか *60 ピクセル*（各クラス20ピクセルずつ）にラベルを付与しました。ラベルソースとして ESA WorldCover 2021 を使用し、マングローブ、水域、その他の3つのクラスについて、各クラスからランダムに20ピクセルをサンプリングし、特徴量ごとの標準化を行ったロジスティック回帰モデルで学習させ、地域内の全ピクセルを予測しました。

60 個のラベル付きピクセルから、分類器は *加重 F1 スコア = 0.84* の一貫したマップを生成しました。マングローブ群落、潮汐水路、開水域が地域全体にわたって明確に区別されています。この分類器は急速に収束します：ラベル数を 30 から 300 に増やしても精度はほとんど変化しません。これは、埋め込み表現（embeddings）が大部分の処理を担っているためです。

分析の中核となるのは、以下の数行の Python コードです：

import rasterio

import numpy as np

from sklearn.pipeline import make_pipeline

from sklearn.preprocessing import StandardScaler

from sklearn.linear_model import LogisticRegression

Studio からエクスポートされた 192 バンドの埋め込み COG を読み込む

with rasterio.open("embeddings.tif") as ds:

emb = ds.read().astype(np.float32) # (192, H, W)

C, H, W = emb.shape

X = emb.reshape(C, -1).T # (H*W, 192)

ラベル付きピクセルで学習し、全域を予測する

clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))

clf.fit(X[train_idx], labels[train_idx])

prediction = clf.predict(X).reshape(H, W)

これは「線形プローブ（linear probe）」であり、基盤モデルの標準的な評価手法です。192次元のロジスティック回帰という単純なモデルが、極めて少ないラベルから土地被覆の境界を復元できるということは、Tinyエンコーダーが事前学習段階でこれらの生態学的な区別を整理できていることを意味します。より大きなバリエーション（Base、768次元）はさらに豊かな表現をエンコードします。

もし正解のポリゴン、現地調査のポイント、あるいは既存の大まかな地図をお持ちであれば、同様の分類器を学習させて、関心のある地域に対して全面（wall-to-wall）の地図を作成することができます。

変化検出：何が変わったかを見極める

Studioは任意の時間解像度（月次から年次まで）で埋め込みを生成できるため、2つの時期を直接比較して地表状態が変化した箇所を特定できます。以下では、2023年9月と2024年9月の同じ地域について月次Sentinel-2埋め込みを計算し、ピクセルごとのコサイン距離を測定しました。カリフォルニア州バット郡のパーク火災（2024年7月〜9月）による焼失跡地が、すぐに明るく浮き上がります。

ラベルも学習も不要です。埋め込みCOG（Cloud Optimized GeoTIFF）を2つ用意し、数行のPythonコードを実行するだけです。

教師なし探索：モデルが何を見ているのか

クエリとなる場所や参照ラベルがない場合もあります。そんなときは、埋め込みベクトルの中にどのような構造が存在するかを理解したいだけです。主成分分析（Principal Component Analysis、PCA）はこれを行うための明確な手法です：3次元に次元削減し、R/G/B（赤/緑/青）にマッピングして、偽カラー画像として表示します。類似した埋め込みベクトルは自動的に類似した色を持ちます。

オランダのフェレフンデルト（Flevoland）は、規則的な農地区画のグリッドを持つ干拓地（ポルダー）景観です。PCAによる偽カラー画像は、これらの境界を高忠実度で再現しています。異なる作物の種類、水域、都市地域はそれぞれ明確な色調を与えられます。埋め込みベクトルは、区画や作物が何かを教えられることなく、景観の構造を内部に学習しています。

このような教師なし視点による分析は、関心のある領域全体でモデルがどのような構造を捉えたかを素早く確認する手段となります。

エクスポートから洞察へ

類似度検索、フューショットセグメンテーション（few-shot segmentation）、変化検出、そしてPCA探索は、標準的なラスターデータに対して数秒で実行される単純な操作です。その真の力は埋め込みベクトルにあります：地球観測データを圧縮し、多数のセンサーからのデータと数百万の学習例に基づいて各場所に関する豊富な情報を捉えるベクトルへと圧縮した、学習された表現です。

カスタム埋め込みエクスポートが利用可能になりました。プロジェクトを作成し、埋め込みモデルを設定して、埋め込みの計算を行ってください。エクスポートされた GeoTIFF は、QGIS、GDAL、rasterio、または独自のスクリプトなど、あらゆる地理空間ツールと互換性があります。本記事の例を再現するエンドツーエンドのコードについては、埋め込みチュートリアルをご覧ください。ここには、類似度検索、フューショットセグメンテーション、変化検出、PCA 可視化の動作コードが含まれています。ローカル環境の設定なしで実際に試してみたい場合は、Colab ノートブックをお試しください。

さらに先へ：ファインチューニング

この投稿の例はすべて、タスク固有の学習を行わない凍結埋め込み（frozen embeddings）を使用しています。埋め込みは、OlmoEarthを活用するための優れた入り口です。これにより、高速で費用対効果の高い結果の生成が可能になり、リソースが限られた環境でも良好に動作し、共有も容易です。より高いパフォーマンスを必要とするアプリケーションの場合、OlmoEarth Studio は SFT にも対応しており、独自のラベルに基づいてタスク固有のモデルヘッドを学習させることができます。これは通常、凍結された特徴量に対する線形プローブよりも優れたパフォーマンスを発揮します。

制限事項

私たちは常に事前学習手法の改善に取り組んでいますが、上記で説明したいくつかの技術を用いて、使用ケースにおける埋め込みの品質を確認することが重要です。パフォーマンスは入力画像の品質にも依存します。継続的な雲の被覆、大気アーティファクト、または合成期間中の観測データの欠如は、生成されるベクトルに影響を与える可能性があります。

*欧州宇宙機関（ESA）の Sentinel-2 L2A 画像は Microsoft Planetary Computer を経由してアクセスしました。マングローブの参照データには ESA WorldCover 2021 v200 を使用しました。グローバルなクラスタリング可視化には、OlmoEarth-v1-Base（768 次元）を使用し、季節ごとの Sentinel-2 コンポジットをパッチサイズ 8 で、1.1M の事前学習サンプル全体に対してインスタンスレベルの埋め込みを適用しました。*

最新の Ai2 ニュースに関する月次アップデートを受け取るには、購読してください。