#マルチモーダル検索のAIニュース

4件の記事

失敗から学習する統一型多モーダル検索：ハードネガティブによる検索中心 CoT の提案

大規模視覚言語モデルに基づく検索が細かな識別手がかりを見逃す課題に対し、ハードネガティブを活用した検索中心の思考連鎖（CoT）手法を提案し、失敗事例から学習することで精度向上を図る研究を発表。

ウェブページやPDFを画像としてレンダリングし、タイル分割後にSigLIPやCLIPなどのマルチモーダル埋め込みを用いてベクトル化する、従来のテキスト抽出に依存しないRAGパイプラインの構築方法を解説する。

サンフランシスコの検索企業Ontonは、複雑な会話型・多モーダル商品検索用の神経記号モデル「Ontology 1」をリリースした。

GoogleはYouTubeにおいて、会話のような体験を提供する新しい検索機能「AI Mode」の実験を開始した。この新機能は、長編動画やYouTube Shorts、検索に関連するテキスト情報を統合して結果を表示する。