AI が読みやすい文書へ再フォーマットする提案：5 分で読める記事
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
著者は、AI が文書をより理解しやすく処理できるよう、すべてのドキュメントを再フォーマットするよう提案している。このアプローチにより、AI との相互作用が改善される可能性がある。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
ウェブサイトは AI モデルによる消費のために再設計されており、今や連合団体がこのトレンドをデジタル文書にも広げようとしています。
Linux Foundation 傘下の LF AI & Data Foundation は、企業が自社のファイルを AI システムに供給するのを支援することを目的とした、AI に優しい文書形式である DocLang の開発を主導するためのワーキンググループを結成しました。
IBM、NVIDIA、Red Hat、ABBYY、HumanSignal、Forgis によって設立された DocLang グループは、PDF、Markdown、HTML、LaTeX といった既存の形式は AI による文書解析には不向きであると主張しています。
REG AD
2024 年後半、IBM は Microsoft の MarkItDown や Marker プロジェクトに匹敵するものとして、AI による文書解析を促進するためのオープンソースツールキット「Docling」Docling (ドクリング) を開発しました。Docling は、さまざまなファイル形式を構造化された AI 対応データに変換する方法を提供します。DocLang はこの基盤を拡張し、異なるシステム間で構造化出力を交換するための標準規格を追加しています。
REG AD
"DocLang は、エンタープライズ AI における基礎的な問題の一つを解決するために設計されています。文書は人間のために作られたものであり、機械のために作られたものではありません」と、AI オートメーション企業 ABBYY の AI 戦略担当バイスプレジデントである Maxime Vermeir氏は声明で述べています。「ドキュメントの構造、レイアウト、意味、ガバナンスを表現するための最小限かつ標準化され、AI ネイティブな形式を導入することで、DocLang は現代の AI システムにとってはるかに決定論的な基盤を創出します。」
新しい DocLang 形式が必要であるという主張は、仕様作成者らによるものであり、既存のフォーマットはレンダリングのために設計されており、AI モデルがそれらをトークンに変換する際に、意味情報や構造的関係、幾何学的文脈を失ってしまうためです。仕様 では、Markdown は範囲が不十分であり、HTML は冗長すぎ、LaTeX は曖昧さが多すぎることを説明しています。
本質的に、DocLang は DocLang 要素と LLM トークンの間を 1 対 1 でマッピングするマークアップを通じて、LLM トークナイザーに最適化されています。この仕様は、LLM トークナイザーと整合性があり、最適化されたプロンプトを生成するための限定的な XML ボキャブラリーに依存しています。これはロスレス（情報損失なし）であるため、AI 変換によって貴重な情報が失われることはありません。また、表、数式、チャート、マルチモーダルコンテンツなどの一般的なグラフィック要素のサポートも設計されています。さらに、これはオープンスタンダードです。
DocLang はコスト管理の維持にも役立つ可能性があります。AI Cost Check によると、PDF に対して AI モデルが OCR スキャンを実行するには、ベースラインとして約 1,200 トークンの入力と 150 トークンの出力が必要となります。
これは単発のケースでは企業の AI ユーザーにとって些細なことですが、スケールする際には注意が必要です。また、AI モデルのトークンコストは非常に変動するため、企業は PDF を AI システムが取り込むために予想以上に支出していることに気づくかもしれません。特に文書が長く複雑な場合や、高価な最先端モデルを使用する場合にその傾向が強まります。
「PDF は理解のためではなく、レンダリングのために設計されたものです」と、ABBYY の AI バリューおよびイネーブルメント責任者である Jon Knisley 氏は The Register 宛てのメールで述べています。「PDF が AI パイプラインに入ると、構造や意味、レイアウトが失われるため、モデルの精度は最終的に文書の品質によってボトルネックに陥ります。チームはこの問題を補うために、各統合ポイントでカスタムパーサーを構築しますが、その結果、脆く単発的な作業となり、新しい文書タイプごとに新たなエンジニアリングのスプリントが必要となります。」
Knisley 氏によると、これには測定可能なコストが発生します。
「曖昧な構造はモデルを推測に追い込み、ハルシネーションのリスクを高め、意味の抽出ではなくレイアウトの解読にトークンを消費させてしまいます」と彼は説明した。「DocLang を用いれば、顧客はより高い精度、低コスト、消費されるトークンの削減、高速なパフォーマンス、そして一貫性のある出力が期待できます。具体的な節約額はユースケースやドキュメントの複雑さに依存しますが、初期ベンチマークでは評価されたモデルによって 4 倍から 30 倍以上のコスト削減を示しています。」
REG AD
Knisley はまたガバナンス上の利点も指摘し、文書が移動する際に文書の由来データやメタデータが削除されてしまう可能性があることを述べた。DocLang なら、そのような情報を文書に付帯したまま保持できると彼は説明した。
AI ドキュメント処理を提供する ABBYY は、DocLang 形式のドキュメントを AI モデルに入力することによるトークン削減の可能性を示すために DocLang インタラクティブベンチマーク を作成している。例えば、IBM の 2025 年度報告書の PDF ファイルでは入力トークンが 8,421、出力トークンが 512 となるのに対し、DocLang バージョンでは入力トークンが 5,310、出力トークンが 498 で済む。さらに、DocLang バージョンはレイテンシも低く（2.7 秒対 4.2 秒）、品質も優れている（PDF では AI が 1 つのサブセクションを見落とし、表のマージを誤って処理していた）。
「まだ初期段階であり、普及率を過大評価はしない」とクニズリー氏は述べた。「この標準はオープンかつ無料で利用可能であり、グループはさらに多くの技術プロバイダーや企業に参加するよう積極的に呼びかけている。初期の反応は鼓舞されるものであり、今後の展開についても楽観視している。」®
原文を表示
Websites are being redesigned for consumption by AI models, and now a coalition wants to extend the trend to digital documents.
The LF AI & Data Foundation, under the Linux Foundation, has formed a working group to steer the development of DocLang, an AI-friendly document format that aims to help enterprises feed their files to AI systems.
The DocLang group, founded by IBM, NVIDIA, Red Hat, ABBYY, HumanSignal, and Forgis, contends that existing formats like PDF, Markdown, HTML, and LaTeX are ill-suited for AI document parsing.
REG AD
In late 2024, IBM developed an open source toolkit called Docling to facilitate AI document parsing, not unlike Microsoft's MarkItDown or the Marker project. Docling provides a way to convert various file formats into structured AI-ready data. DocLang expands upon that foundation with a standard for exchanging structured output across different systems.
REG AD
"DocLang is designed to solve one of the foundational problems in enterprise AI: documents were built for humans, not machines," said Maxime Vermeir, VP of AI Strategy at AI automation biz ABBYY in a statement. "By introducing a minimal, standardized, and AI-native representation of document structure, layout, meaning and governance, DocLang creates a far more deterministic foundation for modern AI systems."
The new DocLang format is necessary, the spec authors argue, because existing formats were designed for rendering and lose semantic information, structural relationships, or geometric context when AI models turn them into tokens. The specification explains that Markdown lacks sufficient scope, that HTML is excessively verbose, and that LaTeX allows too much ambiguity.
Essentially, DocLang is optimized for LLM tokenizers through markup that maps between DocLang elements and LLM tokens on a 1-to-1 basis. The spec relies on a limited XML vocabulary that aligns with LLM tokenizers to produce optimized prompts. It is lossless, so the AI conversion doesn't do away with valuable info. It's designed to support common graphical elements like tables, formulas, charts, and multimodal content. And it's an open standard.
DocLang could also help keep costs under control. According to AI Cost Check, having an AI model conduct an OCR scan on a PDF requires about 1,200 input tokens and 150 output tokens as a baseline.
That's inconsequential to corporate AI customers on a one-off basis but demands attention at scale. And because AI models have highly variable token costs, companies may find they are spending more than they anticipated to have their AI system ingest PDFs, particularly if the documents are long and complicated or an expensive frontier model is used.
"PDFs were designed for rendering, not understanding," said Jon Knisley, AI Value and Enablement Lead at ABBYY, in an email to The Register. "Every time a PDF enters an AI pipeline, structure, meaning and layout get lost, so the model's accuracy ends up bottlenecked by document quality rather than model quality. Teams compensate by building custom parsers at every integration point, which results in brittle, one-off work, and a new engineering sprint for every new document type."
According to Knisley, that has measurable cost.
"Ambiguous structure forces the model into guesswork, which drives up hallucination risk and burns tokens deciphering layout instead of extracting meaning," he explained. "With DocLang, customers can expect better accuracy, lower costs, fewer tokens consumed, faster performance and more consistent outputs. The exact savings depend on the use case and document complexity, but our initial benchmarks show 4x to more than 30x lower cost depending on the model evaluated."
REG AD
Knisley also cited governance advantages, noting that document provenance data and metadata can get stripped when documents gets moved. DocLang, he said, keeps that information attached.
ABBYY, which offers AI document processing, has created the DocLang Interactive Benchmark to illustrate the potential token savings of feeding DocLang documents to AI models. A PDF of IBM's 2025 annual report, for example, results 8,421 input tokens and 512 output tokens while a DocLang version requires only 5,310 input tokens and 498 output tokens. What's more, the DocLang version results in lower latency (2.7s vs 4.2s) and delivers better quality (the AI missed one subsection and mangled a table merger in the PDF).
"It's still early, and we won't overstate adoption," said Knisley. "The standard is open and free to build on, and the group is actively inviting more technology providers and enterprises to join. The early response has been encouraging, and we're optimistic about where it goes from here." ®
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み