Sentence Transformersを用いたマルチモーダル埋め込み・リランカーモデルのトレーニングとファインチューニング

```python from sentence_transformers.cross_encoder import CrossEncoder from sentence_transformers.cross_encoder.losses import BinaryCrossEntropyLoss from sentence_transformers.cross_encoder.modules import LogitScore, Transformer from sentence_transformers.cross_encoder.trainer import CrossEncoderTrainer from sentence_transformers.cross_encoder.training_args import CrossEncoderTrainingArguments # 1. モジュールからモデルを構築する transformer = Transformer( "Qwen/Qwen3.5-0.8B", transformer_task="any-to-any", model_kwargs={"torch_dtype": "bfloat16", "device_map": "auto", "attn_implementation": "flash_attention_2"}, processor_kwargs={"chat_template": {"add_generation_prompt": True}}, ) # チャットテンプレートを拡張して「query」と「document」ロールをサポートする transformer.processor.chat_template = transformer.processor.chat_template.replace( 'message.role == "user"', 'message.role in ["user", "query", "document"]' ) # LogitScore: score = log(P("1")) - log(P("0")) score_head = LogitScore( true_token_id=transformer.tokenizer.convert_tokens_to_ids("1"), false_token_id=transformer.tokenizer.convert_tokens_to_ids("0"), ) model = CrossEncoder( modules=[transformer, score_head], num_labels=1, prompts={ "image_to_text": "画像が与えられたとき、テキストがそれに一致するかどうかを判定してください。一致する場合は1、一致しない場合は0で応答してください。", "text_to_image": "テキストが与えられたとき、画像がそれに一致するかどうかを判定してください。一致する場合は1、一致しない場合は0で応答してください。", }, ) # 2. 損失を定義する loss = BinaryCrossEntropyLoss(model) # 3. 方向ごとに分離したマルチデータセット学習 trainer = CrossEncoderTrainer( model=model, args=args, train_dataset={"image_to_text": train_image_to_text, "text_to_image": train_text_to_image}, eval_dataset={"image_to_text": eval_image_to_text, "text_to_image": eval_text_to_image}, loss=loss, evaluator=[image_to_text_evaluator, text_to_image_evaluator], ) trainer.train() ``` マルチモーダルリランカーには、複数の有効なアーキテクチャ選択肢があります： 1. **Any-to-Any + LogitScore**: マルチモーダル言語モデルを使用してトークンを生成し、「1」対「0」の対数オッズを計算します。 2. **特徴抽出（Feature Extraction） + プーリング（Pooling） + 密結合層（Dense）**: マルチモーダルベースモデルのみを使用し、最後のトークンの隠れ状態を抽出し、密結合層を介してスコアに投影します。これにより言語モデリングヘッドの計算を回避します。 両方のアプローチは、マルチモーダルクロスエンコーダーの学習例で実演されています。 上記でリンクされている2つのスクリプトは、学習データを2つのデータセット（画像からテキスト、テキストから画像の方向ごとに1つ）に分割し、各方向でモデルにスコアリング方法を指示するタスク固有のプロンプトを提供します。各正例ペアは、ランダムにサンプリングされた負例で拡張され、損失が一致と不一致のバランスの取れた混合を見るようになります。 追加リソース **以前のブログ記事** * [Sentence Transformersを用いたマルチモーダル埋め込み＆リランカーモデル](https://huggingface.co/blog/multimodal-sentence-transformers): マルチモーダル推論 * [Sentence Transformers v3を用いた埋め込みモデルの学習とファインチューニング](https://huggingface.co/blog/train-sentence-transformers): 埋め込みモデルの学習 * [Sentence Transformers v4を用いたリランカーモデルの学習とファインチューニング](https://huggingface.co/blog/train-rerankers): リランカーモデルの学習 * [Sentence Transformers v5を用いたスパース埋め込みモデルの学習とファインチューニング](https://huggingface.co/blog/train-sparse-embeddings): スパース埋め込みモデルの学習 **学習例** Sentence Transformersリポジトリには、いくつかのマルチモーダル学習例が含まれています： * [視覚的文書検索（Visual Document Retrieval）](https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/multimodal/vdr/train_vdr.py): このブログ記事で使用された、文書スクリーンショット検索のためにVLMベースの埋め込みモデルをファインチューニングする学習スクリプト * [マルチモーダルリランカー（Any-to-Any）](https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/multimodal/reranker/train_reranker_any_to_any.py): LogitScoreを使用してマルチモーダルリランカーを学習する * [マルチモーダルリランカー（特徴抽出）](https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/multimodal/reranker/train_reranker_feature_extraction.py): プーリング＋密結合層を使用してマルチモーダルリランカーを学習する さらに、以下のページはSentence Transformersでの学習についてさらに学ぶのに役立つかもしれません： * [Sentence Transformer > 学習概要](https://sbert.net/docs/sentence_transformer/training_overview.html) * [Sentence Transformer > 損失概要](https://sbert.net/docs/sentence_transformer/loss_overview.html) * [クロスエンコーダー > 学習概要](https://sbert.net/docs/cross_encoder/training_overview.html) * [クロスエンコーダー > 損失概要](https://sbert.net/docs/cross_encoder/loss_overview.html) * [データセット概要](https://sbert.net/docs/sentence_transformer/dataset_overview.html)

Sentence Transformersを用いたマルチモーダル埋め込み・リランカーモデルのトレーニングとファインチューニング

背景や根拠まで確認しますか？

調べる

選ぶ

サイト