iNaturalist の観測記録を時系列で可視化するツール「Sightings」の紹介

ツール: iNaturalist Sightings

私は、iNaturalist の観測記録を、2 つの異なるアカウントにまたがって、発生した時期ごとにグループ化して表示したいと思いました。今週末はキャンプに行くので、ウェブ版 Claude Code を使ってこのツールをスマホ上で完全に構築しました。

まずは、観測データを取得し、「クランプ（clump：集約）」する Python CLI ツール inaturalist-clumper を作成しました。デフォルトでは、2 時間以内かつ 5km 以内に発生した観測データ同士をクランプ処理します。

次に、このツールを実行してその結果を clumps.json に記録するために、simonw/inaturalist-clumps を Git スクレイピング リポジトリとして設定しました。

この JSON ファイルは GitHub にホストされているため、JavaScript による CORS 対応のフェッチが可能になります。

最後に、以下のプロンプトを私の simonw/tools リポジトリに対して実行しました：

⟦CODE_0⟧

inaturalist-sightings.html を構築する。これは https://raw.githubusercontent.com/simonw/inaturalist-clumps/refs/heads/main/clumps.json に対して fetch() を実行し、すべての観測記録を 1 ページに表示するアプリです。サムネイルには https://static.inaturalist.org/photos/538073008/small.jpg small.jpg URL を使用し、loading=lazy を指定します。ただし、サムネイルがクリックされた場合は、HTML モーダル内で large.jpg を表示してください。small と large の両方とも、利用可能な場合は共通種名を含めること。

⟦CODE_1⟧

Tags: tools, claude-code, inaturalist, generative-ai, ai, llms

前回の投稿で、iNaturalist のデータセットを使って自然言語処理モデル（LLM）に生物の同定を行わせる実験を行いました。その際、Claude 3.5 Sonnet が驚くほど高い精度で結果を出したことに気づきました。しかし、いくつかのケースでは誤った同定が行われ、また、なぜそのように判断したのかという根拠が不明瞭な場合もありました。

そこで今回は、より詳細な検証と改善を試みます。具体的には、画像の説明を生成する機能（Image Description Generation）を活用し、LLM に「この生物は何ですか？」と直接聞くのではなく、「まずこの画像に写っている生物について詳しく説明してください」と問いかけ、その説明に基づいて同定を行うという二段階のプロセスを採用します。

このアプローチの利点は、LLM が視覚的な特徴（色、模様、形状、生息環境など）を体系的に記述する過程で、自身の推論プロセスを明確化できる点にあります。また、誤った前提に基づいて同定を進めるリスクも低減されます。

実験では、前回の投稿で使用した画像の一部と、新たに収集した 10 枚の画像を対象としました。各画像に対して、まず Claude 3.5 Sonnet に「この画像に写っている生物について詳しく説明してください」と問いかけ、その回答を基に「この生物は何ですか？」と再質問するという流れで処理を行いました。

結果は概ね良好でした。特に、前回の投稿で誤同定されたケースの多くが修正されました。例えば、あるカメレオンの画像では、前回「アフリカのカメレオン」と判断しましたが、今回は「マダガスカル固有種である可能性が高い」というより慎重かつ正確な回答が得られました。

また、LLM が記述した特徴と実際の生物学的特徴との整合性も確認できました。例えば、「背中に鋭い棘がある」「尾が長く巻くことができる」などの記述は、実際にその種の生物に見られる特徴と一致していました。

ただし、いくつかの課題も残りました。まず、画像の解像度や照明条件が悪い場合、LLM が正確な特徴を抽出できないことがあります。また、非常に類似した種（例えば、同じ属に属する複数の種）の場合、視覚的な違いが微妙すぎて、LLM だけでは区別が難しいケースがありました。

これらの課題に対処するためには、画像の品質向上や、より詳細な生物学的データとの照合が必要かもしれません。また、複数の LLM を組み合わせて判断を交差検証する手法も有効でしょう。

今後の展望として、この二段階のプロセスを自動化し、iNaturalist のコミュニティと連携して、ユーザーが撮影した画像の同定支援ツールとして実装することを検討しています。これにより、市民科学（citizen science）の精度向上に貢献できる可能性があります。

最後に、今回の実験で使用したプロンプト例を示します。これは Claude 3.5 Sonnet に適用したものです：

あなたは生物学者です。以下の画像に写っている生物について、詳細な説明を行ってください。色、模様、形状、生息環境、行動の特徴など、可能な限り多くの視覚的・生態学的特徴を記述してください。

[画像]

この説明に基づいて、さらに以下のように質問します：

上記の説明に基づき、この生物が何であるか推定してください。もし複数の候補がある場合は、それらも列挙し、それぞれの可能性について簡潔に説明してください。

このアプローチは、LLM の推論プロセスを可視化し、誤同定のリスクを低減する有効な手段となり得ます。ただし、あくまで補助的なツールとして位置づけ、最終的な判断は専門家の知識や他のデータソースとの照合によって行うべきです。

次回の投稿では、この手法を実際の iNaturalist のプロジェクトでどのように活用できるか、具体的な事例を紹介する予定です。

⟦CODE_0⟧

ご清聴ありがとうございました。質問やコメントがあれば、お気軽にどうぞ。

⟦CODE_1⟧