子供が AI より言語学習に優れる理由、なお不明

人類が互いに話し合ってきた歴史は、少なくとも 10 万年以上に及ぶと考えられています。その長い間、人間の言語を完璧な流暢さで習得できる存在は、ただ一人の人間の子供だけでした。

しかし今、その数は二人になりました。

ChatGPT が登場してからわずか 4 年。私たちはすでに、スマートフォンやパソコンと自然に対話できることを当然のこととして受け入れています。Claude や DeepSeek、OpenAI の GPT モデルといった大規模言語モデル（LLM）は、流暢で柔軟性があり、人間そっくりに振る舞うことさえ可能です。しかし、計算のカーテンの裏側を覗いてみると、そこには大きな落とし穴が待っています。コンピュータに人間の言語を使わせるためには、想像を絶するほどの膨大なデータが必要なのです。

母国語を習得する過程で人が経験する単語の数と比べれば、LLM は 10 万倍もの言葉を処理します。ましてや、子供たちが通常言語の習得を始める生後 1 歳までに耳にする言葉の数など、はるかに上回っています。

スタンフォード大学の認知科学者であるマイケル・C・フランク氏は LLM の進歩についてこう述べています。「最近の進展は驚異的だ。しかし、このマイルストーンをリビングルームで 1 年かけて達成する自然なプロセスを再現するには、森を切り倒し、人類の知識全体をすべて読み込む必要があるのだ。」

この、子供と機械の間に広がる大きな格差は「データ効率のギャップ」と呼ばれています。これは認知科学者にとって魅力的な問いであり、AI モデルの設計者にとっては課題です。なぜなら、これまで作られた中で言語能力が最も洗練された機械よりも、子供の方がまだ優れているからです。

答えを見つけることは、AI 研究と認知科学の両方にとって重要な意味を持ちます。過去 10 年間、言語モデルは主に規模を大きくすることで性能を向上させてきました。2 年前に公開された Meta のオープンウェイト LLM「Llama 3.1」は、事前学習（特定のタスク、例えばチャットボットとしての動作に微調整を行う前の主要なトレーニングステップ）で約 15 トリリオンのトークン（言語の断片のようなもの）を処理しました。ジョージタウン大学の認知科学者兼言語学者であるイーサン・ゴットリーブ・ウィルコックス氏によると、最先端モデルでは事前学習データが 10 倍になる可能性もあります。しかし、トレーニングに使えるインターネット上のデータには限りがあり、おそらく 2030 年代にも早ければ、手軽に入手できるデータの泉は枯渇する可能性があります。

子供たちは、「少ないものでより多くを学ぶ」ことが可能であることを示しています。はるかに少ない量でです。言語環境が豊かな家庭で育った 10 代前半の子供は、約 1 億語の言葉を聞いたことがあるかもしれません。読み書き能力を加味すれば、20 歳までにその単語数は 3 億語に達する可能性もあります。

規模の違いは、たとえ話でしか表現できないほどのものです。ウィルコックス氏は「Claude は、1 世代の間に1 つの都市の人々が経験する言語量を学習しています」と述べています。もし現代の大規模言語モデル（LLM）の訓練に使われた単語をすべて紙に印刷して積み上げたら、その高さは国際宇宙ステーションを超えてしまうでしょう。一方、人間の10代の子どもが学習する言葉は約1億語ですが、それを積み上げてもわずか20メートルです。しかも、私たちはそれよりもはるかに少ない量で十分やっていけるのです。

科学者たちは、子どもの学習方法を逆解析することで、よりデータ効率の高い AI モデルを構築できることを目指しています。これは、動画から効果的に AI を訓練したり、少数言語コミュニティに役立つチャットボットを作成したりする際に役立ちます。また、機械モデルで人間の学習に関する仮説を検証することは、言語や子どもの思考の発達に関する長年の疑問に決着をつけることにもつながるでしょう。私たちは生まれながらにして言語能力を持っているのでしょうか？それとも、経験のみから純粋に言語を習得することも原理的に可能なのでしょうか？私たちが言語を処理する方法は生物学的な偶然によるものなのでしょうか？あるいは、少なくとも一部の処理方法は、言語がどのように使用され、学習されるかという普遍的な制約を反映しているのでしょうか。

本質的な要素

私たちが言語学習の難しさに気づくのは、たいてい子供時代を過ぎてから新しい言葉を学ぼうとした時です。過去完了形や巻き舌の r 音、鼻母音、属格、動詞と前置詞の組み合わせ（フレーズ動詞）、文法的に男性名詞扱いされるテーブルや女性名詞扱いされるスプーンなど、大人が言語を学ぶ際の苦痛の数々は枚挙にいとまがありません。しかし、母語を習得する際にはそんな苦労はほとんどありません。幼児は通常、1000 万語程度の言葉を耳にした後（多い場合で 3000 万語）には、文法的に正しい文章を作り出し始めます。

「それはまさに奇跡です」とフランクは言います。「GPT-2 を 3000 万語のデータで訓練すれば、意味のないテキストを生成するだけのモデルができるにすぎず、子供のような存在にはなりません。」

赤ちゃんがこれをどうやって成し遂げるのかは依然として謎のままです。研究者たちは子供たちが何を学び、発達段階に応じて言語をどのように使うかについては多くの知識を持っていますが、まだ不明な点も多々あります。おそらく最も根深い疑問は、「なぜ赤ちゃんは言語を学習できるのか」という点でしょう。人間の言語の構文——単語を組み合わせて文章を作るルール——には再帰的で入れ子になった構造が含まれており、有限の語彙と単語の一部を用いてほぼ無限のアイデアを表現することを可能にしています。これは子供にとってむしろ問題になるはずのことのように思えます。彼らは言語という果てしない海のごく浅瀬でしか遊んでいないのです。にもかかわらず、何らかの理由でそれは十分なのです。一滴の水から、彼らはその深淵を推し量るのです。

1950 年代に MIT の言語学者ノーム・チョムスキーが提唱した解決策の一つは、赤ちゃんは生まれながらに文法の知識をハードウェア的に備えているというものです。この説は、心理学者 B.F. スキンナーが主張していた対立する見解への反応でした。スキンナーは、言語獲得は環境要因のみによるものだと考えていました。彼は、犬がおやつのために座るや握手をする方法を学習するように、言語も条件付けと強化を通じて習得されると考えたのです。

これに対しチョムスキーは、「刺激の貧困」を根拠に反論しました。これは、特に構文において言語があまりにも複雑であり、子供たちがそれに出会う機会が「貧弱」すぎるため、経験のみから完全に学習することは不可能だという考え方です。「本質的に彼の主張は、統計的なデータだけでは言語は習得できない」というものですと、カリフォルニア大学アーバイン校の言語学者兼認知科学者リチャード・ファットレル氏は語っています。代わりにチョムスキーは、言語は論理的な規則のセットに基づくと仮定し、子供たちはその規則に関する先天的な知識を必要とし、わずかな発話の断片から自らの言語の文法を推測できると主張しました。

「これはまさに奇跡的なことです。GPT-2 を 3000 万語で訓練しても、得られるのは意味不明なテキスト生成器であって、子供ではありません。」

マイケル・C・フランク氏（スタンフォード大学認知科学者）

アメリカの言語学界で数十年にわたり支配的な地位を占めていたのが、生成文法という名のもとでのチョムスキー派の考え方です。この考え方は、1950 年代から 60 年代にかけてのコンピュータ科学にも大きな影響を与えました。当時 AI は最初のブーム期を迎えており、言語学と自然言語処理の境界線は軍資金の洪水によって溶け去っていました。ペンタゴンは英語を理解しロシア語を翻訳できるコンピューターを求めていたのです。

単純なニューラルネットワークが統計パターンを学習して認識・再現する能力に初期の成功が見られたにもかかわらず、米国の AI 研究者たちは主にチョムスキーの理論に影響されたルールベースの枠組みを採用しました。彼らは言語をコンピュータに教えるために、プログラムに明示的に規則をコーディングしようとしました。つまり、没入型の体験よりも、文法の授業のようなアプローチです。この手法は「記号主義 AI」と呼ばれるより広範な潮流の一部であり、数十年にわたり主流でした。しかし、大規模な人間の言語を実際に処理できるモデルを生み出すことには、ほぼ失敗しました。その結果、1970 年代から始まった「AI の冬」において、自然言語処理への関心は冷めていきました。

その後、ニューラルネットワークは再び脚光を浴びるようになりました。しかし、その性能が人々の注目を集めるようになったのは、2010 年代に入ってからです。この時期にはコンピュータハードウェアが安価かつ高性能になり、インターネットも巨大化していました。2018 年と 2019 年には、新しいアーキテクチャである「トランスフォーマー」を基盤とし、数十億のトークンで学習したモデル「BERT」や「GPT-2」が登場しました。これにより、専門家の間では大量のデータから学習させることが言語処理に有効であるという認識が確立されました。そして 2022 年、OpenAI のチャットボット「ChatGPT」が大成功を収めたことで、その事実が一般の人々にも明白になりました。

大規模言語モデル（LLM）は脳ではありません。彼らが持つのは強力な統計学習能力であり、人間の皮質に備わった進化的な生物学的特性とは無縁の、単純なパターン認識機械です。つまり、20 年前の生成文法学者が「言語を習得できるはずがない」と断じていたような存在なのです。にもかかわらず、彼らは説得力のあるソネット（十四行詩）を書き上げ、文法のテストも合格しています。

カリフォルニア大学バークレー校の発達心理学者であるアリソン・ゴプニク氏はこう述べています。「AI に対して懐疑的な方であっても、皆が驚いているのは、これらのモデルが文法を学習している点です。私はそれが実現するとは思っていませんでしたし、言語の大量サンプルの統計情報を眺めるだけで文法構造を解明できると考える人はほとんどいなかったはずです。」

では、少量の言語データから学習することは可能でしょうか。例えば、子供が学ぶような規模でです。人間サイズのモデルを構築し、ただの無意味なテキスト生成機ではなく、何か実用的なものにできるのでしょうか。

ベビー・トーク

サンディエゴ校カリフォルニア大学（UCSD）の言語学者兼データサイエンティストであるアレックス・ワースタッド氏は、BERT や GPT-2 が発表された前後の数年間を、非常に熱狂的な時代だったと振り返ります。2019 年当時、彼はまだニューヨーク大学の言語学博士課程に在籍しており、自身の分野が目の前で変化していく様子を目撃していました。言語モデルがテキストを読み込むだけで英語を習得できるという事実は、当時の主流であったチョムスキー派の考え方に挑戦するものでした。しかし、多くの言語学者は依然として、大規模言語モデル（LLM）が人間の言語獲得プロセスについて何を示唆するのか懐疑的でした。

「私が常に反発を受けたのは、特定の一点でした。それはモデルのデータセットの規模に関する問題です」とワースタッド氏は語ります。「人間規模で言語モデルを訓練した際、人々が感銘を受けるような成果が得られたことは一度もありませんでした。」

ワースタッド氏は、大規模言語モデル（LLM）に可能性を見出していました。科学的モデルは完璧である必要はなく、有用であればよいのです。LLM は明らかに人間の言語使用を強力にシミュレートするものでした。子供がどのように学習するかという仮説をモデルに組み込み、その性能—特にデータ格差をどれだけ埋められたか—を測定することで、科学者たちは自らのアイデアを検証できるのではないか？2022 年 8 月、ワースタッド氏はツイッターで「ニューラルネットワークは言語獲得の有用なモデルとなり得る」という主張を展開しました。AI 研究者のレシェム・チョーセン氏とのコメント欄でのやり取りを経て、ワースタッド氏は後に「BabyLM」として結実するアイデアを提案します。これはワースタッド氏とチョーセン氏、そして他の研究者らによって組織される年次コンペティションで、小規模なデータセットを用いてモデルを訓練するものです。

あれから 4 年が経過しました。以来、BabyLM はワークショップを追加し、中国語で訓練されたベビーモデル向けのコンペティションなど派生イベントも生まれました。メインの課題は、研究チームに「発達的に妥当な」コーパスを用いて言語モデルを訓練させることです。対象となるのは、童話、対話、映画字幕、シンプル英語版ウィキペディア、通常のウィキペディア、そして子供向けに発話された実際の音声転記などから抽出した、わずか 1 億語（幼児規模トラックでは 1000 万語）のデータです。このコンペティションの主催者の一人であるジョージタウン大学のウィルコックス氏によれば、モデルの評価は心理言語学者が人間に対して用いる文法ベンチマークに基づいて行われます。

SELMAN DESIGN

テスト課題の一つは、人間や機械に文を提示し、不文法な特徴に対する混乱や驚きの兆候を探るものです。例えば、「The keys to the cabinet are on the table（キャビネットの鍵はテーブルの上にある）」と「The keys to the cabinet is on the table」という2つの文を比較するテストがあります。ウィルコックス氏はこう述べています。「人間が『is』を見たとき、彼らは『えっ？これは『are』じゃないといけないのに』と感じます。」人間の驚きは眼球運動の追跡で測定できますが、言語モデルでは「サプライザル（surprisal）」と呼ばれる指標が使われます。これは、モデルが文全体またはその一部をどれだけ unlikely（起こりそうにない）と予測するかを評価するものです。

この競争はすでにいくつかの仮説に挑戦しました。例えばカリキュラム学習の有効性です。カリキュラム学習とは、単純な訓練データから始め、徐々に複雑な入力へと移行していく手法で、まるでベビー語から始めて次第に高度になっていくようなものです。ワラッド氏によると、これはBabyLMの第1回大会で最も人気のあるアプローチでした。しかし、期待ほどには機能しませんでした。

ボストン大学のコンピュータサイエンティストであり、BabyLMの組織者の一人であるアロン・ミュラー氏はこう語っています。「その魅力は拒むのが難しいものです。カリキュラム学習は、人間が学習する方式と合致しているように思えます。しかし、トランスフォーマーモデルは、効果的に学習するためにデータをそのような順序で並べる必要はないようです。」

皮肉なことに、最良の BabyLM モデルは実際には赤ちゃんから着想を得たものではありません。2024 年のチャンピオンである GPT-BERT は、現代の大規模言語モデル（LLM）のようにシーケンス内の次のトークンを予測するよう訓練される一方、BERT のように「マスクされた言語モデル」として動作し、Mad Libs ゲームのようにトークンの連続の空白を埋める役割も果たします。驚くべきことに、GPT-BERT は約 1 億語で事前学習されただけですが、Meta の Llama 2 70B（約 15,000 倍の量で事前学習された LLM）よりも BabyLM ベンチマークの一つにおいて高い性能を発揮しました。

それでも、BabyLM モデルが LLM と同じレベルにあるわけではありません。多くのモデルはテキストを生成することすらできず、GPT-BERT でさえも現代の商用モデルと比較すればぎこちなく見えます。結局のところ、これらは「赤ちゃん」サイズのモデルですが、学習方法は決して赤ちゃんらしくありません。子供たちは世界から切り離されたプログラムではなく、世界との唯一の経験が書かれたテキストだけにある存在でもありません。彼らは五感、特に視覚と聴覚を通じて世界を吸収します。データ量の格差を埋めるために、一部の研究者は、機械もまた子供の目と耳を通して学習し始める必要があると考えています。

すべてを受け入れる

マイケル・フランクが 15 年ほど前にスタンフォード大学で研究室を立ち上げた当時、科学者たちは赤ちゃんが世界をどのように体験しているのかについて、ほとんど知られていませんでした。発達心理学者たちはようやくヘッドマウントカメラを通じて赤ちゃんの生活に迫り始めていたのです。

「初期の研究から得られた洞察は、子供の経験が私たちが思っていたよりも根本的に異なるということでした」とフランク氏は語ります。「子供たちの視点は非常に焦点が絞られています。彼らは腕が短く、対象物が目の前にあるのです。そして彼らは膝の森の中で暮らしています。」

フランク氏は、ヘッドマウントカメラの映像を使って言語学習のプロセスに関する仮説を検証する機械学習モデルを訓練することに興奮していましたが、より多くのデータが必要でした。そこで彼は4人の同僚と共に3人の子供たちを募集しました。彼らはすべて心理学を専門とする母親たちの子供で、自分が何に身を置くことになるかを知った上で参加したのです。この「SAYCam」と呼ばれるプロジェクトでは、6ヶ月から2歳半までの期間中、各子供の生活の週に2時間を記録しました。

「家族たちはその映像を公開することに同意してくれました。それが極めて重要なのです」とフランク氏は言います。「私たちはそれを公開し、人々がそれを使ってモデルの訓練を開始したのです。」

その一人が、プリンストン大学の認知科学者であり AI 研究者でもあるブレンデン・レイク氏です。2024 年、彼はニューヨーク大学に在籍中でしたが、同僚たちと共に、61 時間にわたる生の SAYCam データで訓練されたモデルを発表しました。このモデルは物体を識別し、それらを単語と結びつける能力を獲得しています。

発達心理学の多くの理論では、子供たちが生来的なバイアス（先天的な傾向）を持つ必要があると考えられています。これは、彼らが生身の感覚体験から特定の部分を抽出し、言語の一部として結びつけるのを助けるためです。例えば、レイク氏によれば、赤ちゃんは「shoe」といった新しい単語が、靴紐のような一部分ではなく、物体全体を指すと仮定すると考えられています。

しかし、レイク氏のチームが構築したモデルは、そのようなバイアスなしに、映像から物体を識別し、それらを単語と結びつけることを学習できました。「理論が示唆していたよりもずっと少ないデータで、言語学習の確かなスタートを切れることがわかりました」とレイク氏は語ります。それでも彼は付け加えます、「ただし、トレーニングを終えたからといって、2 歳の子供ができるようにはなりません」

しかし、数十年前に撮影された断片的な映像を数年間にわたって組み合わせた数十時間の映像データから、子どものような能力をモデルが再現できないのは、意外でもありません。その欠落は、単に現実的なデータの不足を示しているだけかもしれません。そもそも赤ちゃんは24時間365日ヘッドマウントカメラを着用できません。「SAYCam」やその後継機「BabyView」といった取り組みでも、せいぜい週数時間の記録しか得られません。そのため研究者たちは、「一人の子どもの人生のごく一部」を扱うか、「多くの子どもから集めた大規模な映像データセット」を使うかの二者択一を迫られます。どちらを選んでも、モデルの学習データが子どもの実際の生活体験に及ぶことはまだ遠いのです。

しかし状況は変わりつつあります。プリンストン大学の神経科学者兼心理学者であるUri Hasson氏は、過去5年間、17人の子どもたちの最初の1,000日間を記録するプロジェクトに取り組んできました。参加した家族は、寝室と浴室を除く自宅のすべての生活空間にカメラとマイクを設置し、ほぼ毎日1日12時間ずつ録画を行いました。最近発表されたプレプリントで初めてその詳細が明らかになったこのデータセットは、新しいAIツールによる文字起こしや映像分析機能がなければ、決して扱える規模のものではありませんでした。Hasson氏はこう述べています。「ついに、必要な入力データを揃えたのです。これはほんの始まりに過ぎません。」

欠けている要素

これまで、動画を用いたモデルの学習は困難な課題とされてきました。テキストベースのモデルが膨大な訓練データを読み込むことで流暢に動作するようになる一方で、子供たちの動画から学習した多モーダルモデルはまだその域には達していません。例えばレイク氏のモデルは、「ボール」や「猫」といった単純な単語を習得するにとどまりました。ワースタット氏によれば、ベビーLMの参加者たちはテキストに視覚データを補足しようとする試みもうまくいっていないそうです。

ゴプニク氏は、この問題の原因として、子供たちがただ座って世界が流れるのを眺めているだけではない点を指摘しています。「子供たちは能動的に探索しており、つまり自分たちでデータを選択しているのです」と彼女は言います。「子供たちは絶えず実験を繰り返している」。もしかすると、これが欠けていた要素なのかもしれません。

ゴプニク氏のグループによる研究（マインクラフトに触発されたゲームを探索する小学生を対象とした調査など）では、一見ただの遊びに見える行為が、実は因果関係を学ぶ効果的な方法であることを示しています。子供たちは自らの「エンパワーメント」、つまり世界に対して予測可能な影響を与える能力を最大化するような体験や行動を自ら探し求めます。

ハーバード大学の発達認知科学者であるエリザベス・ボナウィッツ氏は、モデルとは異なり、子供は自分が何を知らないかを自覚しており、知識のギャップを埋めようとする強い動機を持っていると指摘します。また、子供の社会的な生活も学習を助ける要因になると彼女は言います。

彼女の研究では、大人が何かを教えていることを知った場合、子供たちは情報を異なる解釈で受け取ることも示されています。「子供たちは、伝えられた証拠について推論するだけでなく」とボナウィッツ氏は述べています。「教師自身や、その教師の知識、そしてなぜこの特定の情報を教えてくれるのかという理由についても推論しているのです」。

これは、モデルが学習する方法とは全く異なります。モデルは受動的に、かつ孤立して学習します。もしモデルが、自分自身の盲点を埋めるために能動的に情報を探し求めたり、言語を実験したり、他の言語使用者が自分の喃語（なんご）に対してどう反応するかを観察したり、何らかの模擬的な社会世界について推論したりするよう設計されれば、より良く学習できるかもしれません。昨年の BabyLM コンペティションでは、他モデルとの相互作用を通じて学習できるモデルも参加対象となりましたが、社会的なモデルは標準的なモデルよりも優れた結果を出すことはできませんでした。

業界をリードする主要なラボの中で、メタは特に子供たちからインスピレーションを得ることに最も関心を持っているようです。具体的には、動画からモデルを訓練する際にその知見を取り入れようとしています。メタの研究者2名がBabyLMのマルチモーダル分野に関わっており、メタの科学者たちはフランクを含む学術研究者らと共に、ベビーのヘッドカメラ映像を用いたモデル訓練のためのベンチマークとチャレンジを発表しました。フランクによると、非公開で活動するAIスタートアップ「Flapping Airplanes」も彼の研究に関心を示しているそうです。なお、メタ、Google DeepMind、OpenAI、および Flapping Airplanes はいずれもインタビューに応じませんでした。

現時点では、最先端ラボが子供たちの知恵を借りようと競ってはいないとゴプニクは述べています。彼女は、次世代の AI、つまりトランスフォーマーに代わるものこそが発達心理学から教訓を得るだろうと考えています。

データ格差を埋める最も魅力的な理由の一つは、それが私たち自身を理解する手助けになる可能性があるからです。

一般的に、機械学習コミュニティは子供たちの模倣にはあまり関心を持っていません。