機械学習研究の芸術と禅（11 分読了）

AI 研究を行いたいと考えていますか？実際、誰もそれを直接教えるわけではありません。しかし、始める方法は意外とシンプルです：(i) 読むことと (ii) 何かを構築することの組み合わせです。どちらか一方だけではできません。研究者になるのはこの組み合わせを通じてです。 実は、優れた研究者になるプロセスは瞑想を学ぶことに似ています： **I.** 始める方法は意外とシンプルで、**(a) 読んで学び、(b) 何かを構築する**という組み合わせによって実現されます。片方だけではダメです。この組み合わせを通じて研究者になります。 古くからある禅の言葉にこのようなものがあります—— *洞察が見つかる日は座る。 洞察が見つからない日も座る。 * 研究を行うことは基本的にこれと同じです。科学的な洞察は、まるで偶然のように現れることがあります。しかし、ほとんどの日には現れません。成功のための重要な資質の一つは、ただ時間と努力を積み重ねることです。音楽、スポーツ、営業など他のいかなる活動と同様に、世界クラスになりたいのであれば、並外れたほどの規律が必要です。 Noam Shazeer は SwiGLU 論文において、成功する研究アイデアの持つ本質的な偶然性に対して、見事な敬意を表しています： 「なぜこれらのアーキテクチャが機能するのかについて説明は提供しません。その成功も他と同様、神の慈悲によるものとみなします。」 関連するコメントとして、*論文を読みすぎることさえあり得る*というのがあります。問題を解決したいのであれば、成功への確実な道は、まず解決策を試みて実行し、ボトルネックにぶつかったらその解決を図り、自分自身でアイデアが尽きてから初めて文献を参照することです。 II. では、何に取り組むべきでしょうか？ もしあなたがこれから始めようとしているのであれば、率直にお答えしましょう：正確なトピックがそれほど重要だとは思いません。 ただし、6 ヶ月未満の間に流行った分野を選ぶことには警告しておきます。AI は急速に進化しますが、根本的なアイデアは 40 年間変わっていません。これをキャリアにするつもりなら、2026 年の概念（ハーネス、エージェント、コンテキストエンジニアリングなど）について過度に悩むべきではありません。これらは変化します。 むしろ、基本に戻って学ぶことでより多くのことを得られるはずです：クロスエントロピーが何かを学びましょう。小さな分布に対して手計算でそれを算出してみましょう。SVD（特異値分解）を深く理解し、頭の中で視覚化できるレベルまで到達してください。コーディングに特化した RL（強化学習）について過度に考えるのではなく、ポリシー勾配の背後にあるアイデア、それがなぜ有用なのか、そしてなぜ数十年にわたって人気があるのかを学びましょう。 もう一つメタ的なコメントですが、研究プロジェクトの最良の結果が既存ベンチマークでのスコア向上である場合、あなたはまだ深掘りできていません。多くの場合、既存のデータセットは新しい興味深い能力を試すには不十分です。 [Jason Wei も同様の指摘をしています](https://x.com/_jasonwei/status/1875268874859344349): **AI 研究において、10 年前にはほとんど存在しなかったが、時として成否を分ける重要なスキルとして過小評価されているものの一つは、あなたが取り組んでいる新しい手法を実際に検証できるデータセットを見つける能力である。 具体的な提案については、私にはできません。それはあなた自身に委ねるべきだ。深く掘り下げ、基本に集中し、ベンチマークの追及に走らないこと。水の中に留まり続ければ、アイデアは自然と湧いてくるだろう。 III.** **初心者の心には多くの可能性があり、熟練者の心には少ない可能性しかない – 鈴木 最近シリコンバレーで繰り返される言説の一つに、「現代における優れた研究直感にとって、AI 研究の経験がむしろ逆効果になる可能性がある」というものがある。私はこれを間近で観察してきたが、スケーリング以前のエラから多くの研究者は、小規模では機能するが、スケールしてテストされた際には明らかに失敗する方法を設計することに依然として興味を持っている。 OpenAI の本当に印象的な点の一つは、同社を運営している人々の多く（少なくとも技術面においては）が 35 歳未満であることだ。chatGPT の背後にある重要な意思決定者の多くは 30 歳未満である。ここから私たちが得られる教訓の一つは、AI が非常に未成熟な分野であるため（chatGPT はまだ 4 年未満！）、*誰も大きな優位性を持っていない*ということだ。なぜなら、誰も長くこの分野に取り組んできていないからだ。 要するに、アイデアを長期間抱え続けることは、むしろ逆効果になり得る。心を開き続け、エゴが判断を曇らせることを拒否すること。 IV.** インスピレーションは、あなたが最も期待していない時に訪れる。 歴史から二つの例を挙げる： - ベンゼン環の構造発見は、有名な夢の中で行われました：その構造はこれまで見たことがありませんでしたが、自分の尾を噛む蛇として想像されました。 - オゼピック（Ozempic）は基本的にトカゲから来ています。それが模倣する GLP-1 ホルモンは、年間数回しか食べない砂漠のトカゲであるギラモンスター（Gila monster）の毒液中で初めて発見されました。どうやら私たちは、これを人間にも適用する方法を見つけたようです。 重要な教訓の一つは、「良い研究を行うためには、研究以外のことも行う必要がある」ということです。私の個人的な「あっと驚く瞬間」の多くは、キーボードから離れて、特に散歩をしている間に起こりました。 ダーウィン（Darwin）、テスラ（Tesla）、ファインマン（Feynman）、アリストテレス（Aristotle）。歴史上の多くの偉大な思想家が、足を伸ばして少し散歩をすることの並外れた利点を主張しました。研究を行っていなくても、おそらくもっと散歩をするべきでしょう。 **V.** たとえ着想が訪れても、自然が親切であるとは限りません：完璧な実装があったとしても、私たちのアイデアは根本的な意味で「真実」ではないかもしれません。あるいは、そうだったか、またはそう見えるのかもしれません。結果が得られたとき、私たちはどのように反応すべきでしょうか？ 私たちが禅から借りることのできるもう一つの原則は（実験における）平静さです。 実験を分析する際、以下の心構えを採用できます： 上手くいったか？ *素晴らしい！* 失敗したか？ *これも素晴らしい！* 両方の結果は同じ量の情報を教えてくれます。実際、一連のネガティブな結果から、単一のポジティブな結果よりも多くのことを学ぶことがよくあります。「まだ動かないなんて！すごい！」これは研究にとって健全な姿勢です。 その逆として、良い結果に対して過度に興奮すべきではありません。実際、ほとんどの良い結果はバグによるものです。結果自体が良いのではなく、測定が誤っており、自分自身を納得させていただけなのです。誰もが自分のアイデアが機能することを望みます——それは良いことです！——しかし、経験豊富な研究者全員が共有しているのは、特に真実らしすぎると思われる結果に対して極度の懐疑心を持つことです。残念ながら、それらはほとんど常にそうなのです。 **VI.** **花は隣の花と競争しようなどと考えません。ただ咲くだけです。 研究は極めて成果指向です。特に学術界では、他人の論文上の成功を見て感情に流されがちです。 人々が成功する理由は様々です。中には単に幸運な人もいます。特に学術審査プロセスは一貫性も公平性もありません。あなたが尊敬する分野で新しい研究が発表されたら、自分自身に次のように問いかけてみてください： *私はこの洞察を自ら得るのに十分な深さで活動していたか？* ここには二つの可能性があります。答えが「はい」なら素晴らしいです。あなたのプロセスは妥当ですが、その発見をしたのはあなたではありませんでした。忙しかったのです。別のことをしていたのですが、可能だったはずです。 もし答えが「いいえ」なら、それをより深く探求するための動機と捉えてください。 VII. 開眼する前には薪を割り水を汲み、開眼した後にも薪を割り水を汲む。 多くの成功したプロジェクトの裏側には、数百時間にわたる地味な作業が潜んでいます。アンドレイ・カルパティは、ImageNet の非自明な部分を [手動でラベル付けしました](https://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/)。[SWEBench](https://arxiv.org/abs/2310.06770) の作成者たちは、多くの点で時代を先取りしていましたが、評価に有用な小さく扱いやすい GitHub イシューのセットを得るために、GitHub データを慎重にフィルタリングする作業に数百時間を費やしました。 優れた研究者たちのキャリアを見れば、成功を収める前に長い間無名の状態で研究に取り組んでいたことが伺えます。この状況に慣れてください。アイデアがより野心的で先見的であればあるほど、それを徹底的に実装し評価するためには、より多くの作業が必要になるものです。この困難さはバグではなく、機能なのです。 **VIII.** 私が深く尊敬する素晴らしい研究者であるコリン・ラッフェルは、かつて「多くのアイデアが失敗するのは、そのアイデア自体が悪いからではなく、研究者が発見しなかったコードのバグがあるからだ」と考えていると述べました。 一般的にこれは非常に困難な問題であり、特に大規模言語モデル（LLM）の世界では顕著です。現代の深層学習ソフトウェアスタックは極めて複雑で、バグはどこにでも潜んでいます：トレーニング中、推論中、ハッチング（評価用フレームワーク）、データの中などです。 もし何かがおかしく見えるなら、先に進むことはできません。多くのメトリクスを記録し、それらすべてを理解しようと努めるべきです。一部のメトリクスが予想と異なるように見える場合、なぜそうなのかを突き止めなければなりません。なぜなら、何か問題がある可能性があるからです。以前にツイートした通り、研究者にとって最も重要な資質の一つは[健全な懐疑心](https://x.com/jxmnop/status/2062995349573382219)です。懐疑的になりましょう！ **IX.** 一つの現実的なポイントは、ディープラーニング（deep learning）を伴う実験の多くが長すぎるということです。モデルのトレーニングには数週間から数ヶ月かかることもあります。最近では、単一のタスクに対するモデルの評価に数日かかることも珍しくありません。 特にエージェントとのコーディングにおいては、多くの実験を並列で立ち上げて、すべてを低速なペースで実行させるという直感に駆られるかもしれません。単純な並列化はある程度役立ちますが、[コンテキストスイッチ](https://en.wikipedia.org/wiki/Human_multitasking)（context switching）は有害なパターンです。 迅速な実験フィードバックをサポートする人間工学的な研究ワークフローを設計することが何よりも重要です。トレーニングの起動時間を短縮し、結果がすぐに返ってくる小規模な評価（evals）を実行してください。私はケラー・ジョーダンの[nanoGPT スピードラン](https://github.com/kellerjordan/modded-nanogpt)を、迅速な反復サイクルからどれほど多くを学べるかを示す例として非常に高く評価しています。 （ただし、最終的には、一部の結果は避けられないほど長い時間を要します。可能であれば、数日間にわたる状態を維持し、今日完了した先週の實驗を理解することは、極めて有用なスキルです。） **X.** コーディングエージェントはあなたの作業を速めますが、2 つの課題を悪化させます：基本的な詳細を理解することが難しくなり、コンテキストスイッチ（文脈の切り替え）が頻繁になります。優れた研究者は、これらの両方の力に積極的に立ち向かうよう努めています。 Codex はトレーニングスクリプトを作成することもできます。さらに、そのスクリプトを実行し、実行中に見守り、結果を解釈してメールで送信することさえ可能です。しかし、エラーが発生してシステムプロンプトを確認もせずに短縮してしまったかもしれません。あるいは、評価が合理的な時間内に完了するようにシーケンス長を短縮したのかもしれません。あるいは、あなたが指定しなかったために間違った設定を実行したのかもしれません。 エンジニアリングの観点から見れば、これらはすべて簡単な修正で済む小さなエラーです。しかし、科学の観点からは深刻です。このような小さな省略は論文の重要な結果に実質的な影響を与える可能性があり、許容されるものではありません。*ドラゴンに注意してください*。コードを自分で書かなくても、結果を理解したいのであれば、それらを生成したシステムを理解する必要があります。 正直にお話ししましょう—これは難しいことです！理解を機械に委ねたくなる誘惑があります。多くのアプリケーションでは、その方が速いかもしれません。しかし、良い科学を行うためには、観察が真実であることを確信するために、システム全体がどのように機能するかを学ぶ必要があります。これを回避する簡単な方法はありません。 **XI.** 要約：才能は成功した研究者になるために必要なすべてではありません。*気質（temperament）* は非常に過小評価されています。好奇心を持ち続け、粘り強く、慎重かつ細部に注意を払い続ければ、アイデアは必ず現れます。

機械学習研究の芸術と禅（11 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト