OpenAIのGemini 3への回答、Runwayのインタラクティブワールド、DisneyとOpenAIの提携、低データ領域へのLLM適応

本記事は、現在の大規模言語モデル（LLM）の能力とその向上への道のりについて、過大評価にも過小評価にも陥らない現実的な視点を提供する。主要なポイントは以下の通りである。 第一に、LLMは確かに従来の単一タスク特化型アルゴリズムよりも汎用的な知能であり、単一モデルで多様なタスクに適用できる。これは主に、広範な主題を含む公開ウェブ上のデータで事前学習されたことによる成果である。 しかし、その汎用性は人間の能力には遠く及ばない。例えば、特定の編集者が使いこなす文章スタイルへの適応や、単純なウェブサイトの確実な操作などにおいて、LLMは依然として苦戦する。公開ウェブの情報をほぼ使い尽くした今、進歩はより困難になっている。 現在、最先端の研究ラボがLLMに特定のタスク（例：特定のプログラミング言語でのコーディング、医療や金融の特定分野について適切に発言すること）で高い性能を出させようとする場合、研究者は非常に労力を要するプロセスを踏まなければならない。対象領域の大量のデータを探し出し、または生成し、さらにそのデータを（低品質テキストの除去、重複排除、言い換えなどにより）整備して、LLMに知識を与えるための訓練データセットを作成するのである。 あるいは、ウェブブラウザの使用のような特定のタスクをモデルに習得させるには、開発者はさらに煩雑なプロセスとして、多くの模擬環境（RL gym）を作成し、アルゴリズムに狭いタスク群を反復練習させる必要がある。 一方、典型的な人間は、最先端モデルよりもはるかに少ないテキストしか読んでおらず、コンピューター使用の訓練環境での練習量もはるかに少ないにもかかわらず、最先端モデルよりもはるかに広範なタスクへ一般化できる。人間は、フィードバックからの継続的学習、非テキスト入力に対する優れた表象（LLMの画像トークン化はまだ「ハック」的と筆者は感じる）、その他我々がまだ理解していない多くのメカニズムを利用している可能性がある。 したがって、現在の最先端モデルを前進させるには、多くの手動の判断を下し、モデル訓練に用いるデータを丹念に設計する「データ中心のAI」アプローチが不可欠である。将来的なブレークスローにより、ここで述べたような断片的な方法ではなく、もっと統合的な形でLLMを進歩させられる可能性はある。しかし、たとえそれが実現しなくても、継続的な断片的な改善と、人間の知能の仕組みに関する科学的理解の深化が相まって、AIシステムは着実に能力を高め、社会に大きな価値をもたらし続けると筆者は期待している。

OpenAIのGemini 3への回答、Runwayのインタラクティブワールド、DisneyとOpenAIの提携、低データ領域へのLLM適応

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト