AI が読みやすい文書へ再フォーマットする提案：5 分で読める記事

ウェブサイトは AI モデルによる消費のために再設計されており、今や連合団体がこのトレンドをデジタル文書にも広げようとしています。 Linux Foundation 傘下の [LF AI & Data Foundation](https://lfaidata.foundation/projects/) は、企業が自社のファイルを AI システムに供給するのを支援することを目的とした、AI に優しい文書形式である [DocLang](https://doclang.ai/) の開発を主導するためのワーキンググループを結成しました。 IBM、NVIDIA、Red Hat、ABBYY、HumanSignal、Forgis によって設立された DocLang グループは、PDF、Markdown、HTML、LaTeX といった既存の形式は AI による文書解析には不向きであると主張しています。 REG AD 2024 年後半、IBM は Microsoft の [MarkItDown](https://github.com/microsoft/markitdown) や [Marker](https://pypi.org/project/marker-pdf/0.3.2/) プロジェクトに匹敵するものとして、AI による文書解析を促進するためのオープンソースツールキット「Docling」[Docling (ドクリング)](https://research.ibm.com/blog/docling-generative-AI) を開発しました。Docling は、さまざまなファイル形式を構造化された AI 対応データに変換する方法を提供します。DocLang はこの基盤を拡張し、異なるシステム間で構造化出力を交換するための標準規格を追加しています。 REG AD "DocLang は、エンタープライズ AI における基礎的な問題の一つを解決するために設計されています。文書は人間のために作られたものであり、機械のために作られたものではありません」と、AI オートメーション企業 ABBYY の AI 戦略担当バイスプレジデントである Maxime Vermeir氏は声明で述べています。「ドキュメントの構造、レイアウト、意味、ガバナンスを表現するための最小限かつ標準化され、AI ネイティブな形式を導入することで、DocLang は現代の AI システムにとってはるかに決定論的な基盤を創出します。」 新しい DocLang 形式が必要であるという主張は、仕様作成者らによるものであり、既存のフォーマットはレンダリングのために設計されており、AI モデルがそれらをトークンに変換する際に、意味情報や構造的関係、幾何学的文脈を失ってしまうためです。[仕様](https://github.com/doclang-project/doclang/blob/main/spec.md) では、Markdown は範囲が不十分であり、HTML は冗長すぎ、LaTeX は曖昧さが多すぎることを説明しています。 本質的に、DocLang は DocLang 要素と LLM トークンの間を 1 対 1 でマッピングするマークアップを通じて、LLM トークナイザーに最適化されています。この仕様は、LLM トークナイザーと整合性があり、最適化されたプロンプトを生成するための限定的な XML ボキャブラリーに依存しています。これはロスレス（情報損失なし）であるため、AI 変換によって貴重な情報が失われることはありません。また、表、数式、チャート、マルチモーダルコンテンツなどの一般的なグラフィック要素のサポートも設計されています。さらに、これはオープンスタンダードです。 DocLang はコスト管理の維持にも役立つ可能性があります。[AI Cost Check](https://aicostcheck.com/blog/ai-ocr-document-processing-costs-2026) によると、PDF に対して AI モデルが OCR スキャンを実行するには、ベースラインとして約 1,200 トークンの入力と 150 トークンの出力が必要となります。 これは単発のケースでは企業の AI ユーザーにとって些細なことですが、スケールする際には注意が必要です。また、AI モデルのトークンコストは非常に変動するため、企業は PDF を AI システムが取り込むために予想以上に支出していることに気づくかもしれません。特に文書が長く複雑な場合や、高価な最先端モデルを使用する場合にその傾向が強まります。 「PDF は理解のためではなく、レンダリングのために設計されたものです」と、ABBYY の AI バリューおよびイネーブルメント責任者である Jon Knisley 氏は The Register 宛てのメールで述べています。「PDF が AI パイプラインに入ると、構造や意味、レイアウトが失われるため、モデルの精度は最終的に文書の品質によってボトルネックに陥ります。チームはこの問題を補うために、各統合ポイントでカスタムパーサーを構築しますが、その結果、脆く単発的な作業となり、新しい文書タイプごとに新たなエンジニアリングのスプリントが必要となります。」 Knisley 氏によると、これには測定可能なコストが発生します。 「曖昧な構造はモデルを推測に追い込み、ハルシネーションのリスクを高め、意味の抽出ではなくレイアウトの解読にトークンを消費させてしまいます」と彼は説明した。「DocLang を用いれば、顧客はより高い精度、低コスト、消費されるトークンの削減、高速なパフォーマンス、そして一貫性のある出力が期待できます。具体的な節約額はユースケースやドキュメントの複雑さに依存しますが、初期ベンチマークでは評価されたモデルによって 4 倍から 30 倍以上のコスト削減を示しています。」 REG AD Knisley はまたガバナンス上の利点も指摘し、文書が移動する際に文書の由来データやメタデータが削除されてしまう可能性があることを述べた。DocLang なら、そのような情報を文書に付帯したまま保持できると彼は説明した。 AI ドキュメント処理を提供する ABBYY は、DocLang 形式のドキュメントを AI モデルに入力することによるトークン削減の可能性を示すために [DocLang インタラクティブベンチマーク](https://doclang-benchmark.abbyy.tech/) を作成している。例えば、IBM の 2025 年度報告書の PDF ファイルでは入力トークンが 8,421、出力トークンが 512 となるのに対し、DocLang バージョンでは入力トークンが 5,310、出力トークンが 498 で済む。さらに、DocLang バージョンはレイテンシも低く（2.7 秒対 4.2 秒）、品質も優れている（PDF では AI が 1 つのサブセクションを見落とし、表のマージを誤って処理していた）。 「まだ初期段階であり、普及率を過大評価はしない」とクニズリー氏は述べた。「この標準はオープンかつ無料で利用可能であり、グループはさらに多くの技術プロバイダーや企業に参加するよう積極的に呼びかけている。初期の反応は鼓舞されるものであり、今後の展開についても楽観視している。」®

AI が読みやすい文書へ再フォーマットする提案：5 分で読める記事

背景や根拠まで確認しますか？

調べる

選ぶ

サイト