チャットボットを超えた直接選好最適化

[Back to Articles](https://huggingface.co/blog) ## Using Rejection Pairs From Your Model's Own Failures The Loop Survives Fine-Tuning The Design Decision: Degenerate Outputs as Rejection Pairs Consistent Across Five Model Families The Pattern Beyond OCR Sources Using Rejection Pairs From Your Model's Own Failures In April, we released DharmaOCR, our specialized structured OCR model ([available on Hugging Face](https://huggingface.co/Dharma-AI/Dharma-OCR-LITE)) along with a [paper](https://arxiv.org/abs/2604.14314) detailing the methodology behind it and a benchmark demonstrating its superior quality and cost efficiency. The paper benchmarked leading vision-language model families - both open-source and commercial - on a structured document extraction task: OCR on Brazilian Portuguese text. Among the reported metrics was text degeneration rate: the frequency with which a model produces a repetition loop instead of a transcription. テストされたオープンソースファミリー全体において、バニラの退化率は 1% 未満から 33% を超える範囲に及んだ。教師あり微調整（Supervised Fine-Tuning: SFT）はほとんどのモデルでこの率を低下させたが、生産環境で許容できるレベルまで下げることは稀であった。このパターンは構造的な限界を示唆している：SFT は正しい出力の最適化を目指すものの、退化に対して明示的なペナルティを課すものではない。タスク特化型の微調整単独では、この失敗モードをどの程度低減できるかに上限があるように思われる（[Text Degeneration Article](https://huggingface.co/blog/Dharma-AI/text-degeneration-a-production-failure-mode)）。 教師あり微調整（SFT）の後に適用される第 2 のトレーニング段階は、同じドキュメントを用い、同一モデルに対して行われたが、テストされたすべてのファミリーにおいてテキスト退化を低下させた。例外はなかった。平均的な低下率：59.4%。最良の場合：87.6%。 図 1: DPO はテストされたすべてのファミリーにおいて SFT に比べて退化を低減した（平均低下率 59.4%、ピーク値 87.6%（Nanonets-OCR2–3B: 1.61% から 0.20%））。この傾向は不変であり、変動するのはその規模のみである。 その第二の段階は直接選好最適化（DPO）でした。公開されている DPO の適用事例のほとんどはチャットアライメントを標的としており、有用性や有害性に関する人間の判断に基づいて訓練されたモデルを対象としています（例：Rafailov 他，2023）。OCR にはそのような主観性は伴いません。このタスクは客観的なものであり、会話の文脈も存在しません。しかし、明確な選好信号が存在します。正しい文字起こしが選択され、劣化ループが拒否されます。DharmaOCR はこの二値データを用いて DPO 訓練セットを構築し、アライメントのためではなく、特定の失敗モードに対する直接的な緩和ツールとしてこの技術をテストしました。 訓練信号はモデル自体から得られました—具体的には、モデルが失敗した際に生成した出力からです。失敗モードがどのようにして訓練信号となるかは、モデルそのものよりもむしろ失敗の構造に関する問いです。 ## ループは微調整を生き延びる なぜ SFT（Supervised Fine-Tuning：教師あり微調整）に劣化に対する上限があるのかはまだ未解決の問題ですが、主要な仮説は損失の粒度を指しています。SFT はトークン単位で訓練を行います。各予測は孤立して評価され、反復ループは完了レベルでの失敗として罰せられることはありません。DPO はこの論理を逆転させます。訓練信号は完全な出力—選択されたものまたは拒否されたもの—であり、これにより劣化した完了結果は単に局所的に確率の高いトークンの連続であるだけでなく、誤った結果として明示的にラベル付けされることになります。 学習目標が観測されたシーケンスの尤度を最大化する場合、そのモデルは分布空間においてこれらのシーケンスが存在する領域に確率質量を集中させます。推論中にモデルが高確率のアトラクタ領域の一つに入ると、次のステップで同じトークンに対して高い確率を割り当てることになり、それがさらに確率を増大させ、シーケンスが最大トークン数に達するまでループが続きます。テキストの劣化とは、この幾何学的構造が生み出す出力であり、自己強化された反復ループです。外部からの介入がない限り、自己回帰モデルはこのループから脱出できません（Holtzman et al., 2020）。これは単なるデコーディングのアーティファクトではありません。アトラクタには学習目標、学習された分布、および推論中に確率質量がどのように集中するかという要素が含まれており、特定の単一コンポーネントにおける失敗ではなく、システム全体レベルでの失敗です。 この失敗の幾何学的構造はトークンレベルで視覚化できます。 図 2: あるトークンが自身の条件付き分布を支配する場合、サンプリングステップごとにアトラクタが深まります。デコーダはこの幾何学構造からサンプリングするものであり、それを決定するものではありません。 推論層における介入（反復ペナルティ、温度調整、早期中止ロジックなど）はサンプリングステップに対して作用します。これらは症状を抑制しますが、その症状を生み出す分布には手を加えません。アトラクタは存続し続けます。 教師あり微調整は、分布をタスクドメインに近づけます。構造化された生成パイプラインにおいては、これは対象言語の必要な出力形式で、ドメイン固有の文書を用いてトレーニングを行うことを意味します。モデルはより長いシーケンスに対する流暢さ、制約のある構文、ドメイン特有の語彙を獲得します。しかし、SFT が直接劣化に対処するわけではありません。その目的は観測されたシーケンスの尤度を最大化することであり、反復ループを罰する項を含んでいません。この失敗モードは、トレーニング信号が最適化する範囲の外側にあります。 DharmaOCR ベンチマークにおけるあるモデルファミリーでは、予期せぬパターンが示されました：バニラ状態での劣化率が 0.60% から SFT 後に 3.23% に上昇し、その後の DPO（Direct Preference Optimization）段階を経て 1.41% に低下しました。これは単一のデータポイントであり、例外であって規則ではありません。これをメカニズムの証拠として扱うのは証拠を過大評価することになります。しかし、これが示しているのは、SFT が劣化を確実に低減するわけではないということです。能力と劣化耐性は独立して変動し得ます。 この区別は構造的に重要です。SFT と DPO は、異なる強度で同じ操作を行う相互交換可能なトレーニング段階ではありません。SFT はモデルの事前分布とタスク領域との距離を縮めます。しかし、それが目標とするのは退化ではなく、その失敗モードへの影響は副次的なものであり、ベンチマーク結果はその一貫性を示していません。退化を生み出すアトラクターの問題は、モデルがタスクに近接していることによるものではなく、モデルが現在占有する分布空間の形状に関する問題です。 この幾何学構造に対処するには、モデル自身の失敗モードから遠ざけるように指向されたトレーニング信号を構築する必要があります。人間による選好ラベルも、従来の「有益 versus 有害」という区別もない構造化され非対話的なタスクにおいて、そのような信号を構築することは設計上の判断となります。 ## デザインの判断：退化した出力を拒否ペアとして用いる DharmaOCR パイプラインが DPO 手法にもたらす貢献は具体的です。SFT モデル自身の退化した出力を、除去すべきノイズではなく、最適化が必要とする負のトレーニング信号（ネガティブ・トレーニング・シグナル）として使用した点にあります。 DPO（直接選好最適化）には、選択された出力と拒否された出力という選好ペアが必要です。これは同じ入力に対するものであり、最適化が学習できるほど明確な品質差が存在する必要があります。チャット整列においては、人間の注釈担当者がこれらの判断を行い、回答をより有益かそうでないか、正確かそうでないか、安全かそうでないかに評価します。しかし、構造化生成タスクにはこれに相当する注釈ソースは存在しません。OCR パイプラインは、正しい転写を生み出すか、あるいは生み出さないかのどちらかです。品質差は確かに存在しますが、それは人間の選好ランキングによって生じるものではなく、タスク自体の正しさに関する基準によって生じるものです。 DharmaOCR パイプラインは、構造化生成タスクがすでに生成している選好信号を特定しました。それは SFT（Supervised Fine-Tuning：教師あり微調整）モデルが推論時に生成する出力の範囲です。構造化タスクを実行できるモデルは、特徴的な方法で失敗することも可能です。これらの失敗、すなわち退化アトラクタに陥る出力は、フィルタリングすべきノイズではありません。それらは利用可能な最も情報量の多い負の信号なのです。 論文ではこの手法を 23,726 ドキュメントのトレーニングデータで実装しました。SFT モデルを用いて各ドキュメントから複数の候補応答を生成し、それぞれを自動化された LLM（大規模言語モデル）ジャッジによってスコアリングします。パイプラインは以下の通りです。 図 3：重要な設計上の決断はパイプラインの構造にあるのではなく、パイプラインが何を守ったかにあります。テキストの退化を示す出力は、低品質なノイズとしてフィルタアウトされるのではなく、意図的に拒否された例としてラベル付けされました。 トレーニングデータに退化した出力が現れた場合の従来の対応は、それらを削除することです。これらは低品質なシグナルであり、フィルタリングによってよりクリーンなデータセットが生成されます。DharmaOCRのアプローチはこの論理を逆転させました。退化した出力は、各（選択済み、拒否済み）ペアにおいて拒否例として意図的に保持されました。なぜなら、これらは DPO 段階で抑制するように設計されたまさに失敗モードを表しているからです。それらを削除すれば、利用可能な最も明確なターゲットを捨ててしまうことになります。 論文ではこれを「選好に基づく暗黙的な非尤度」と記述しています。モデルはより良い出力に向けて訓練されるだけでなく、特定のクラスの失敗からも遠ざけられるように訓練されます。SFT が高品質な出力の尤度を最大化するのに対し、DPO 段階では同時に退化アトラクタ幾何学を示す出力に対してペナルティを課します。最適化の方向性は、SFT 単独では達成できないほど明確です。 退化した出力は、一貫した失敗モードを表しているため、拒絶例として特に適しています。単語の抜漏がある転写は品質が低いですが、その失敗は個々のケースに特有です。一方、ループする繰り返しは、SFT 後であっても文書やモデルファミリー全体で持続的に現れるパターンであり、これは尤度ベースの最適化では確実に修正できない失敗モードと一致しています。DPO はその損失を異なる方法で適用します：完了レベルにおいて、明示的な拒絶信号を用いてです。事後分析は因果関係を確立できませんが、証拠は、SFT の目的関数が未解決のまま残した課題を DPO が対処し得ることを示唆しています。 このアプローチには特別な注釈インフラは不要です。必要なのは、許容可能な出力と識別可能な失敗の両方を生成できるモデルと、選好ペアにラベル付けするためのスコアリングモデルだけです。ルールベースのメカニズムで機械的にループする繰り返しを検出することは可能ですが、どの出力が高品質な転写であり、選択例として保存に値するかを特定することはできません。 スコアリングモデルは両方の役割を果たします：退化したものを拒絶出力としてフラグを立て、クリーンな抽出物を選択されたものとして検証し、DPO の信号が失敗モードを罰する一方で、モデルの抽出能力を維持します。結果としてのトレーニング信号が意図した方向に分布を移動させることに成功しているか、そしてそれがアーキテクチャ全体で一貫して行われているかは、証拠によって問われるべき点です。 ## 5 つのモデルファミリー全体で一貫性 DPO（Direct Preference Optimization）段階により、テストされたすべてのモデルファミリーにおいてテキスト劣化が減少しました。その減少幅は 37% から 88% の範囲にあり、SFT（Supervised Fine-Tuning）のみと比較して平均で 59.4% の相対的な改善が見られました。この結果はアーキテクチャやパラメータ規模の違いを超えて、また初期の劣化プロファイルが 1 オーダー以上異なる場合でも一貫して成立しました。データセット内の一つのケースでは、SFT 段階後に劣化が増加したものの、その後 DPO によって修正されました。このケースは一貫性を複雑にするものではなく、むしろ他のどのケースよりも直接的にメカニズムを確認するものです。 図 1 は、テストされた 5 つのモデルファミリーそれぞれにおける 3 段階（Vanilla、SFT、SFT+DPO）の劣化率を示しています。5 つのファミリーのうち 4 つでは、各段階で劣化率が低下しています。残りの 1 つのファミリーの棒グラフは異なる動きを示しますが、この違いこそが本研究において最も分析的に重要なデータポイントです。 Qwen2.5-VL-3B の結果を注意深く読み解けば、これは複雑化要因ではなく確認事項であることがわかります。このモデルのヴァニラ状態での劣化率は 0.60% でしたが、それは安定していたからではなく、そもそも長期的な構造化出力を生成する試み自体が一般的すぎて行われていなかったためです。このモデルは、タスクを真剣に実行してその「劣化アトラクタ（degeneration attractor）」を見つけるほどには取り組んでいなかったため、劣化アトラクタに陥ることはありませんでした。 SFT はそれを変えました。ドメイン適応の後、Qwen2.5-VL-3B はそのタスクを遂行できるようになりました。具体的には、パイプラインが必要とするドメインの語彙とフォーマットを用いて、より長く構造化された出力を生成する能力を獲得したのです。この能力により、同モデルは初めて退化アトラクタ（degeneration attractor）に接近することとなりました。その結果、退化率は 3.23% に上昇しました。 これは経験的に可視化されたメカニズムです。SFT はモデルをタスクの方へ、同時にタスクの失敗幾何学（failure geometry）の方へと移動させました。これらは必ずしも同一の操作ではありません。タスク能力を高める訓練段階が、副作用として失敗モードへの曝露を増大させる可能性があります。特にその失敗モードが能力フロンティアの端に位置している場合です。これを同一の操作として扱えば、Qwen2.5-VL-3B の結果は誤りに見えます。しかし、SFT と DPO が形式的に行うように別々の操作として扱えば、この結果は「SFT と DPO は異なる失敗次元に対処する」という仮説と整合します。 その後、DPO 段階により退化率は 1.41% に低下しました。これはバニラベースライン（vanilla baseline）を復元したわけではありません。なぜなら、その目的は設計されていなかったからです。SFT 後のモデルは以前よりも能力が高まっており、0.60% へ戻すにはその能力を無効化する必要があったからです。DPO 段階が行ったのは、SFT 段階が導入した失敗幾何学への対処でした。 残りの 4 つのモデルファミリーも、同じ結論に定量的な重み付けを加えています。図 1 は、5 つすべてのモデルにおける SFT から SFT+DPO への比較を示しています。 図 1：DPO は、テストされたすべてのモデルファミリーにおいて SFT に比べて退化を低減しました。平均低下率は 59.4%、最大低下率は 87.6%（Nanonets-OCR2–3B: 1.61% から 0.20%）。この改善の方向性は不変であり、変動するのはその規模のみです。 どのモデルファミリーも、DPO 後に退化が増加する様子を示しませんでした。どのファミリーもその効果から免れることはできませんでした。この一貫性は、gemma-3–4b-it にも当てはまります。同モデルはベンチマーク開始時に他を圧倒するほど高いバニラの退化率（33.96%）を記録しており、次点の 2.62% と桁違いでしたが、DPO ステージ後には依然として 75% の低下を達成しました。低下範囲（37.3% から 87.6%）は、初期構成やアーキテクチャの違いによるものであり、介入の方向性における不整合を示すものではありません。 これは普遍的な適用性を証明するものではありません。DPO はすべてのドメイン、失敗モード、モデルファミリーに転移するとは限りません。DharmaOCR ベンチマークが提供する証拠は、5 つの OCR アーキテクチャ全体を通じて、中核仮説が成立していることを示しています。つまり、トークンレベルの尤度を最大化するのではなく、完全な選好ペア（preference pairs）に対して最適化を行うことで、SFT では構造的にターゲットを定められない失敗モードに対処できるという点です。結果は、テストされたすべてのモデルファミリーにおいて方向性の一貫性を示しました。このベンチマークの範囲内におけるこの一貫性が、証拠が支持する結論です。 ## OCR を超えたパターン DharmaOCR のアプローチが可能だったのは、このパイプラインが DPO 学習段階を設計通りに機能させる一連の構造的条件を満たしていたからであり、これらの条件の有無が同じ手法が他の領域でも適用可能かどうかを決定します ([ArXiv 上の Dharma OCR ペーパー](https://arxiv.org/abs/2604.14314))。これは OCR がユニークなドメインだからという理由ではありません。 最初の条件は、失敗モードが品質の連続体上の単なる一点ではなく、明確に区別される出力クラスとして識別可能でなければならないことです。テキストの劣化（Text degeneration）はこの条件を満たします。なぜなら、繰り返しループは単語を抜かしたり文字を読み間違えたりする転写とはカテゴリー的に異なるからです。この出力は単に最適ではないだけでなく、特定の行動パターンにおいて認識可能な方法で破綻しています。このカテゴリー的な独自性が、パイプラインが拒否された例をノイズではなく一貫した失敗の幾何学構造として表現する選好ペアを構築することを可能にしたのです。一方、失敗モードが許容される変動範囲に溶け込んでしまうタスクには、この性質は欠けています。 2 つ目の条件は、人間の注釈を必要とせずに、許容される出力と失敗モードの出力を信頼できるスコアリングメカニズムが区別できることです。DharmaOCR パイプラインでは、自動化された LLM 判事（LLM judge）が、4 つのタスク固有基準に基づいて候補回答にスコア付けを行いました。このスコアリングは完璧である必要はありませんでした—重要なのは、選択された出力と拒否された出力の間には意味のある品質差が生じるほど一貫性があることでした。品質の違いが曖昧なペアは DPO 学習（Direct Preference Optimization）においてノイズをもたらすだけであり、シグナルではありません。判事の一貫性は、偶然の産物ではなく設計上の要件でした。 3 つ目の条件は十分な量です—つまり、意味のある品質のばらつきを持つ選好データセットを生成するのに十分な推論出力が存在することです。これは微調整（fine-tuning）の基準から見れば並外れた要求ではありませんが、現実的な要件ではあります。 これら 3 つの条件すべてが満たされる場合、その方法論的アプローチは構造的に利用可能となります。DharmaOCR パイプラインの中核をなす設計判断—モデル自身の失敗出力をフィルタリングするのではなく拒否された例として扱うという決定—は、モデルの失敗が体系的に識別可能で、スコア付けが可能であり、かつ十分に多数存在するあらゆる場面で適用されます。 構造化生成パイプラインを構築する機械学習エンジニアにとっての実践的示唆は明白です。SFT（Supervised Fine-Tuning）は必要不可欠であり、これは汎用モデルとタスク対応型モデルとの間の距離を縮めます。しかし、構造化出力の信頼性については不十分です。なぜなら、タスク能力と退化耐性は分布の異なる性質だからです。SFT 後の DPO（Direct Preference Optimization）段階は、一度きりのトレーニング投資で済みます。DharmaOCR の結果において、退化の低減が抽出品質を犠牲にしたわけではありません。論文のベンチマーク結果では、両者が同時に改善されていることが示されています ([Specialization Beats Scale article](https://huggingface.co/blog/Dharma-AI/specialization-beats-scale))。 失敗モードをトレーニングシグナルとして利用可能にするのはドメインそのものではなく、その失敗が十分に一貫性があり、識別可能であり、かつ十分な数があるかどうかです。これらが読み取り可能なシグナルを構成できるかどうかが問われます。DharmaOCR パイプラインでは、この条件は満たされていました。同じことが別の文脈でも成り立つかどうかは、モデルファミリーやドメインに関する質問ではなく、タスクの失敗モードに関する構造的な問いです。 DharmaOCR の結果がドメインが特別であることに依存しているわけではありません。それは、失敗が有用であるかどうかにかかっています。 テキストの劣化は、許容される出力とは明確に区別され、推論実行において一貫して生成され、人間の注釈なしで確実に評価可能であるという点から有用な指標となります。この 3 つの特性こそが、好意度データセットが扱いやすいかどうかを決定する要因であり、OCR の文脈やモデルファミリー、言語ではありません。これらの条件を満たす失敗モードは、除去すべきノイズではありません。それは、分布が向かうべきではない場所を示す最も直接的な証拠です。 DPO（直接選好最適化）ステージはこの証拠を活用しました。劣化現象はテストされたすべてのモデルファミリーで確認され、ベンチマーク導入時のバニラ率が 1% を下回るモデルでも、33% を上回るモデルでも同様でした。その傾向は一貫していました。 パイプラインは失敗を捨て去りませんでした。むしろ、それらを学習データとして活用しました。 ## ソース - Cardoso, Gabriel Pimenta de Freitas, et al. "DharmaOCR: Specialized Small Language Models for Structured OCR that outperform Open-Source and Commercial Baselines." arXiv preprint arXiv:2604.14314 (2026). - Dharma AI. "Text Degeneration: The Production Failure Mode That LLM Benchmarks Ignore." Medium (2026). - Dharma AI. "Specialization Beats Scale: A Strategic Variable Most AI Procurement Decisions Overlook." Medium (2026). - Holtzman, Ari, et al. "The Curious Case of Neural Text Degeneration." arXiv preprint arXiv:1904.09751 (2020). - Rafailov, Rafael, et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model." arXiv preprint arXiv:2305.18290 (2023).

チャットボットを超えた直接選好最適化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト