AI が読みやすい文書へ再フォーマットする提案：5 分で読める記事
著者は、AI モデルがドキュメントをより正確に理解・処理するために、人間向けの文書形式ではなく AI に最適化された再フォーマットを提案している。
キーポイント
AI 向けドキュメントの再フォーマット提案
現在の人間中心のドキュメント形式は AI の理解に非効率であるため、構造化データを優先する新しいフォーマットへの移行を提唱している。
AI と人間の相互作用の改善
文書構造を AI が解析しやすい形に変換することで、情報の抽出精度やコンテキスト理解が向上し、AI との対話品質が高まると予測されている。
標準化されたプロトコルの必要性
個々のドキュメントを手動で最適化するのではなく、業界全体で採用可能な統一フォーマット規格の確立が不可欠であると指摘している。
影響分析・編集コメントを表示
影響分析
この記事は、AI エコシステムにおけるデータ入力側の最適化という視点を提供しており、RAG（検索拡張生成）やドキュメント処理パイプラインの設計思想に影響を与える可能性がある。しかし、具体的な実装手法や既存ツールとの統合方法については言及が限定的であり、現時点では概念的な提案段階にとどまっているため、即座の実践への影響は限定的である。
編集コメント
AI が人間に読みやすく作られた文書を理解する際のボトルネックを指摘した興味深い視点ですが、具体的な実装フレームワークや既存フォーマットとの互換性についてはさらなる議論が必要です。
ウェブサイトは AI モデルによる消費のために再設計されており、今や連合団体がこのトレンドをデジタル文書にも広げようとしています。
Linux Foundation 傘下の LF AI & Data Foundation は、企業が自社のファイルを AI システムに供給するのを支援することを目的とした、AI に優しい文書形式である DocLang の開発を主導するためのワーキンググループを結成しました。
IBM、NVIDIA、Red Hat、ABBYY、HumanSignal、Forgis によって設立された DocLang グループは、PDF、Markdown、HTML、LaTeX といった既存の形式は AI による文書解析には不向きであると主張しています。
REG AD
2024 年後半、IBM は Microsoft の MarkItDown や Marker プロジェクトに匹敵するものとして、AI による文書解析を促進するためのオープンソースツールキット「Docling」Docling (ドクリング) を開発しました。Docling は、さまざまなファイル形式を構造化された AI 対応データに変換する方法を提供します。DocLang はこの基盤を拡張し、異なるシステム間で構造化出力を交換するための標準規格を追加しています。
REG AD
"DocLang は、エンタープライズ AI における基礎的な問題の一つを解決するために設計されています。文書は人間のために作られたものであり、機械のために作られたものではありません」と、AI オートメーション企業 ABBYY の AI 戦略担当バイスプレジデントである Maxime Vermeir氏は声明で述べています。「ドキュメントの構造、レイアウト、意味、ガバナンスを表現するための最小限かつ標準化され、AI ネイティブな形式を導入することで、DocLang は現代の AI システムにとってはるかに決定論的な基盤を創出します。」
新しい DocLang 形式が必要であるという主張は、仕様作成者らによるものであり、既存のフォーマットはレンダリングのために設計されており、AI モデルがそれらをトークンに変換する際に、意味情報や構造的関係、幾何学的文脈を失ってしまうためです。仕様 では、Markdown は範囲が不十分であり、HTML は冗長すぎ、LaTeX は曖昧さが多すぎることを説明しています。
本質的に、DocLang は DocLang 要素と LLM トークンの間を 1 対 1 でマッピングするマークアップを通じて、LLM トークナイザーに最適化されています。この仕様は、LLM トークナイザーと整合性があり、最適化されたプロンプトを生成するための限定的な XML ボキャブラリーに依存しています。これはロスレス（情報損失なし）であるため、AI 変換によって貴重な情報が失われることはありません。また、表、数式、チャート、マルチモーダルコンテンツなどの一般的なグラフィック要素のサポートも設計されています。さらに、これはオープンスタンダードです。
DocLang はコスト管理の維持にも役立つ可能性があります。AI Cost Check によると、PDF に対して AI モデルが OCR スキャンを実行するには、ベースラインとして約 1,200 トークンの入力と 150 トークンの出力が必要となります。
これは単発のケースでは企業の AI ユーザーにとって些細なことですが、スケールする際には注意が必要です。また、AI モデルのトークンコストは非常に変動するため、企業は PDF を AI システムが取り込むために予想以上に支出していることに気づくかもしれません。特に文書が長く複雑な場合や、高価な最先端モデルを使用する場合にその傾向が強まります。
「PDF は理解のためではなく、レンダリングのために設計されたものです」と、ABBYY の AI バリューおよびイネーブルメント責任者である Jon Knisley 氏は The Register 宛てのメールで述べています。「PDF が AI パイプラインに入ると、構造や意味、レイアウトが失われるため、モデルの精度は最終的に文書の品質によってボトルネックに陥ります。チームはこの問題を補うために、各統合ポイントでカスタムパーサーを構築しますが、その結果、脆く単発的な作業となり、新しい文書タイプごとに新たなエンジニアリングのスプリントが必要となります。」
Knisley 氏によると、これには測定可能なコストが発生します。
「曖昧な構造はモデルを推測に追い込み、ハルシネーションのリスクを高め、意味の抽出ではなくレイアウトの解読にトークンを消費させてしまいます」と彼は説明した。「DocLang を用いれば、顧客はより高い精度、低コスト、消費されるトークンの削減、高速なパフォーマンス、そして一貫性のある出力が期待できます。具体的な節約額はユースケースやドキュメントの複雑さに依存しますが、初期ベンチマークでは評価されたモデルによって 4 倍から 30 倍以上のコスト削減を示しています。」
REG AD
Knisley はまたガバナンス上の利点も指摘し、文書が移動する際に文書の由来データやメタデータが削除されてしまう可能性があることを述べた。DocLang なら、そのような情報を文書に付帯したまま保持できると彼は説明した。
AI ドキュメント処理を提供する ABBYY は、DocLang 形式のドキュメントを AI モデルに入力することによるトークン削減の可能性を示すために DocLang インタラクティブベンチマーク を作成している。例えば、IBM の 2025 年度報告書の PDF ファイルでは入力トークンが 8,421、出力トークンが 512 となるのに対し、DocLang バージョンでは入力トークンが 5,310、出力トークンが 498 で済む。さらに、DocLang バージョンはレイテンシも低く（2.7 秒対 4.2 秒）、品質も優れている（PDF では AI が 1 つのサブセクションを見落とし、表のマージを誤って処理していた）。
「まだ初期段階であり、普及率を過大評価はしない」とクニズリー氏は述べた。「この標準はオープンかつ無料で利用可能であり、グループはさらに多くの技術プロバイダーや企業に参加するよう積極的に呼びかけている。初期の反応は鼓舞されるものであり、今後の展開についても楽観視している。」®
原文を表示
Websites are being redesigned for consumption by AI models, and now a coalition wants to extend the trend to digital documents.
The LF AI & Data Foundation, under the Linux Foundation, has formed a working group to steer the development of DocLang, an AI-friendly document format that aims to help enterprises feed their files to AI systems.
The DocLang group, founded by IBM, NVIDIA, Red Hat, ABBYY, HumanSignal, and Forgis, contends that existing formats like PDF, Markdown, HTML, and LaTeX are ill-suited for AI document parsing.
REG AD
In late 2024, IBM developed an open source toolkit called Docling to facilitate AI document parsing, not unlike Microsoft's MarkItDown or the Marker project. Docling provides a way to convert various file formats into structured AI-ready data. DocLang expands upon that foundation with a standard for exchanging structured output across different systems.
REG AD
"DocLang is designed to solve one of the foundational problems in enterprise AI: documents were built for humans, not machines," said Maxime Vermeir, VP of AI Strategy at AI automation biz ABBYY in a statement. "By introducing a minimal, standardized, and AI-native representation of document structure, layout, meaning and governance, DocLang creates a far more deterministic foundation for modern AI systems."
The new DocLang format is necessary, the spec authors argue, because existing formats were designed for rendering and lose semantic information, structural relationships, or geometric context when AI models turn them into tokens. The specification explains that Markdown lacks sufficient scope, that HTML is excessively verbose, and that LaTeX allows too much ambiguity.
Essentially, DocLang is optimized for LLM tokenizers through markup that maps between DocLang elements and LLM tokens on a 1-to-1 basis. The spec relies on a limited XML vocabulary that aligns with LLM tokenizers to produce optimized prompts. It is lossless, so the AI conversion doesn't do away with valuable info. It's designed to support common graphical elements like tables, formulas, charts, and multimodal content. And it's an open standard.
DocLang could also help keep costs under control. According to AI Cost Check, having an AI model conduct an OCR scan on a PDF requires about 1,200 input tokens and 150 output tokens as a baseline.
That's inconsequential to corporate AI customers on a one-off basis but demands attention at scale. And because AI models have highly variable token costs, companies may find they are spending more than they anticipated to have their AI system ingest PDFs, particularly if the documents are long and complicated or an expensive frontier model is used.
"PDFs were designed for rendering, not understanding," said Jon Knisley, AI Value and Enablement Lead at ABBYY, in an email to The Register. "Every time a PDF enters an AI pipeline, structure, meaning and layout get lost, so the model's accuracy ends up bottlenecked by document quality rather than model quality. Teams compensate by building custom parsers at every integration point, which results in brittle, one-off work, and a new engineering sprint for every new document type."
According to Knisley, that has measurable cost.
"Ambiguous structure forces the model into guesswork, which drives up hallucination risk and burns tokens deciphering layout instead of extracting meaning," he explained. "With DocLang, customers can expect better accuracy, lower costs, fewer tokens consumed, faster performance and more consistent outputs. The exact savings depend on the use case and document complexity, but our initial benchmarks show 4x to more than 30x lower cost depending on the model evaluated."
REG AD
Knisley also cited governance advantages, noting that document provenance data and metadata can get stripped when documents gets moved. DocLang, he said, keeps that information attached.
ABBYY, which offers AI document processing, has created the DocLang Interactive Benchmark to illustrate the potential token savings of feeding DocLang documents to AI models. A PDF of IBM's 2025 annual report, for example, results 8,421 input tokens and 512 output tokens while a DocLang version requires only 5,310 input tokens and 498 output tokens. What's more, the DocLang version results in lower latency (2.7s vs 4.2s) and delivers better quality (the AI missed one subsection and mangled a table merger in the PDF).
"It's still early, and we won't overstate adoption," said Knisley. "The standard is open and free to build on, and the group is actively inviting more technology providers and enterprises to join. The early response has been encouraging, and we're optimistic about where it goes from here." ®
関連記事
Amazon Bedrock AgentCore に Web 検索機能を導入
AWS は、学習データに依存して最新情報を取得できない AI エージェントの課題を解決するため、Amazon Bedrock AgentCore に Web 検索機能を一般提供開始した。これによりエージェントはリアルタイムの株価やニュースなどを参照可能になった。
データサイエンティストが知っておくべき実用的な SQL の技
KDnuggets は、データサイエンティストが効率的にデータを処理するために役立つ実践的な SQL のテクニックを紹介している。
Liquid AI、11言語対応の高速多言語検索向け新モデル「LFM2.5-Embedding-350M」と「LFM2.5-ColBERT-350M」を発表
Liquid AI は、11言語間の高速な多言語・異言語検索を実現する新たな取得モデル「LFM2.5-Embedding-350M」と「LFM2.5-ColBERT-350M」を公開した。両モデルはパラメータ数 3.5 億で、LFM ファミリー初の双方向型であり、Hugging Face で利用可能となった。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み