Tools for curating LLM Data｜LLMデータをキュレーションするツール

多くの方は、LLM向けに独自のデータアノテーション／キュレーションツールを構築すべきだと考えています。多くの状況、特に汎用フロントエンドフレームワークを利用する場合、そのメリットはコストを大きく上回ります。この作業は、慎重な検討なしに外部委託するには重要すぎるタスクです。さらに、ベンダー提供ツールの制限によって早期に縛られることは避けたいでしょう。 ここで述べた理由から、私はShiny for Pythonの使用を推奨します。また、ここで論じた理由により、Streamlitは推奨しません。 私が気付いた一つのパターンは、優れたAI研究者は多くのデータを手動で検査することを厭わないということです。それだけでなく、彼らはデータを素早く手動検査できるインフラを構築します。地味な作業ではありますが、データを手動で精査することで、問題に関する貴重な直感が得られます。この典型的な例が、Andrej Karpathy自身がImageNetの2000クラス分類タスクを実施したことです。 – Jason Wei, OpenAI AI研究者 Jasonの意見にはまったく同感です。人々は自身のデータを十分に観察していないと思います。データを素早く選別・キュレーションできる独自ツールを構築することは、LLMを扱う上で最も影響の大きい活動の一つです。自身のデータを観察し、キュレーションすることは、評価とファインチューニングの両方において極めて重要です。 最初は、自分で何かを構築することを避けようとしました。データキュレーション／レビューのためのツールを提供する以下のベンダーを試しました： これらのツールは成熟度が様々です。これら全ての製品の開発者とやり取りしましたが、彼らは非常に応答が速く、親切で、これらの制限を認識していました。これらのツールは時間とともに大幅に改善されていくものと期待しています。 Spacy Prodigy: これは私が最も気に入った「事前パッケージ化された」ツール／フレームワークでした。最も洗練されたUIを備えています。しかし、特定のニーズに合わせて素早く改造するのは、少し難しいと感じました。様々なNLPタスクに対応する優れた機能を有しています。結局、私は彼らのUIから着想を得て、独自のツールを構築することにしました。 Argilla: このプラットフォームは多くの機能を備えていますが、LLM機能は私の目的には不十分でした。ソート、フィルタリング、ラベル付けといった単純な作業も行えませんでした。LLM機能と非LLM機能ではAPIが大きく異なり、現時点ではかなり分断されている印象です。成熟すれば可能性があると思います。 Lilac: これはデータセットビューアーという性格が強く、データにラベルを付けたりキュレーションしたりするツールとしては機能不足だと感じました。そのため、私のニーズには合いませんでした。ユーザーインターフェース（UI）も、改造や拡張が容易そうには見えませんでした。 これらのベンダーツールを試す中で明確になったのは、特定のニーズに合わせてツールを改造できることの重要性です。関わるすべての企業には独自の技術スタックがあり、このデータアノテーションツールに統合したいツールが存在するでしょう。この気付きが、汎用フレームワークを用いて独自ツールを構築する決め手となりました。 汎用フレームワーク Pythonには、Gradio、Panel、Streamlitなど、使いやすい優れたフロントエンドフレームワークが存在します。新たな選択肢であるShiny for Pythonは、全てを評価した上で私が最も気に入ったフレームワークです。 私がShinyを最も高く評価する理由： Quartoとのネイティブ統合。 反応が速く、強力なリアクティブモデル。 習得が容易で、把握しやすいコンパクトなAPI。 優れたWASMサポート（例えば、このブログ記事にアプリを埋め込んでいます！）。 Shinyアプリは、他のフレームワークと比べて常にはるかに少ないコード量で済み、かつ理解しやすいことが分かりました。

LLMデータをキュレーションするツール

背景や根拠まで確認しますか？

調べる

選ぶ

サイト