Hugging Face と EleutherAI、OCR モデル評価で言語モデル学習の課題に迫る

記事の3ポイント

1. 1

   大規模な OCR モデル評価の実施

   Hugging Face と EleutherAI は共同で「FineBooks」プロジェクトを立ち上げ、14 のオープンソース OCR モデルを 2,000 ページ以上の歴史的書籍ページでテストした。

2. 2

   高精度かつ低コストな最上位モデルの特定

   評価結果において「dots.mocr」が 97.6% の文字精度を達成し、1,000 ページあたり 2 ドル未満というコストで動作することが確認された。

3. 3

   用途に応じた精度の限界認識

   チームは同モデルが AI 学習データの生成には十分であるとする一方、学術的な転写（スクリプト）用としてはまだ不十分であると結論付けた。