ゼロから始めるGPUプログラミング
Answer.AI の若手研究者 Sarah Pan が、高校在学中から WebGPU を用いた GPU プログラミング学習プラットフォーム「WebGPU Puzzles」を構築し、NeurIPS で第一著者論文も発表するまでの歩みと教育手法が紹介された。
キーポイント
若手研究者の急速な成長と成果
Sarah Pan は高校在学中から Answer.AI で研究を始め、数週間で GPU プログラミングや WebGPU を習得し、NeurIPS に第一著者論文を投稿するまでに成長した。
WebGPU Puzzles の紹介
ブラウザ上で完結して GPU プログラミングの基礎を学べる「WebGPU Puzzles」プロジェクトが紹介され、Answer.AI が開発した gpu.cpp を基盤としている。
トップダウン型教育アプローチの効果
Jeremy Howard と Sarah Pan は、数学的な背景知識がなくても高レベルな概念を理解できる「fast.ai」のトップダウン型学習法や、「iterate fast」というエンジニアリングの重要性を強調している。
LLM 推論とリソース最適化の実践
Sarah Pan の最初の研究プロジェクトでは、RL を用いたプロセス報酬モデルで LLM の推論能力を向上させる試みが行われ、大規模モデルの制約下でのエンジニアリング経験が得られた。
WebGPU パズルの開発動機と特徴
著者は Sasha Rush の CUDA パズルに触発され、C++ の複雑さから解放された Python/NumPyベースの環境で並列計算を学べるよう、Webgpu/gpu.cpp向けの初心者向けパズルを開発しました。
GPU プログラミング学習へのアプローチ
Google Colab 上で動作し Numba を使用する CUDA パズルの成功体験から、構文の壁を取り除き、コーディングチャレンジに集中できる環境が重要であると認識しました。
著者の背景と現在の活動
MIT の数学・コンピュータサイエンス専攻1年生である著者は、Answer.AI でメンターと共に研究を続けつつ、現在は報酬モデル（PRM）プロジェクトに取り組んでいます。
影響分析・編集コメントを表示
影響分析
この記事は、従来の難解な GPU プログラミング学習の障壁を下げ、ブラウザ上で即座に実践を開始できる新しい教育リソースの登場を示しています。また、若年層がトップダウン型アプローチと適切な指導のもとで、短期間で学術界でも認められるレベルの成果を出せる可能性を具体例として示しており、AI 人材育成のあり方に対する示唆に富んでいます。
編集コメント
ブラウザ上で GPU プログラミングを学べるツールと、若手研究者の驚異的な成長ストーリーは、AI エンジニアリングの民主化と教育の未来を示す素晴らしい事例です。特に「トップダウン型」アプローチの有効性は、多くの学習者にとって参考になるはずです。
ジェレミー・ハワードは言います：私は、高校在学中から Answer.AI で働き始め、さらに NeurIPS でも第一著者論文が採択されたという、並外れて刺激的な AI 研究者であるサラ・パンを皆さんにご紹介できることを大変楽しみにしています！
サラの私どもとの最初のプロジェクトは「WebGPU Puzzles」です。これは今日、GPU プログラミングの基礎を学ぶための最良の方法だと私が知る限りで、これを使えばブラウザの中で直接 GPU プログラミングの学習を開始できます。サラが数週間でゼロから GPU プログラミング、WebGPU、そして gpu.cpp を学び、これを成し遂げられるレベルに達したことに私は驚嘆しました。
私はサラに自身のストーリーについて少し語ってもらうようお願いしました。彼女は以下の投稿でそれに応えてくれました。また、彼女には私とのインタビューにも時間を割いていただき、非常に特別な人物の人生への興味深い洞察が得られると確信しています。
こんにちは！私の名前はサラ・パンです。WebGPU Puzzles プロジェクト（Answer.AI の gpu.cpp をベースにしています）の名前を見かけたことがあるかもしれません。私について少し：私は Answer.AI の研究フェローであると同時に、MIT の1年生でもあります！つまり、授業や MIT の他の楽しい混沌とした活動の合間を縫って、Answer.AI チームと共に様々なプロジェクトに取り組むとともに、私の独自の研究も行っています。
起源の話
どうして私がここに至ったのか、不思議に思われるかもしれません。（私も時々そう思います。）しかし、私の AI への道は中学の終わりに始まりました。兄が fast.ai を紹介してくれたのです。当時、お気に入りのスター・ウォーズのキャラクターが R2D2 だったことが、このコースを受講する動機となりました。
Practical Deep Learning は、ニューラルネットワークについて教える際にトップダウンアプローチを採用していました。つまり、重要な高レベルな概念は、細かい詳細に邪魔されることなく学べるのです。代数学 I を超えた数学の授業を受けたこともなければ、ましてや大学学位も持っていないのに、複雑なシステムの内部動作を理解できることは、非常に新鮮でした。
高校 3 年生になると、AI に関する経験がさらに積み重なり、より深い学びを求めていました。私は MIT Primes という研究プログラムに参加しました。これは高校生を数学、コンピュータサイエンス、計算生物学の研究者と結びつけるプログラムです。そこで私のメンターである Vlad Lialin は、学術論文の効果的な読み方から「素早く反復する」という理念の採用に至るまで、あらゆることを教えてくれました。
二人で協力し、私が初めて発表することになるプロジェクトに取り組みました。詳細を長々と話して退屈させたくはありませんが、私たちは本質的に、強化学習（RL）におけるプロセス報酬モデル 1 を用いて、大規模言語モデル（LLM）の推論能力を向上させることを行いました。
最初は非常にシンプルに思えたこの話でしたが、すぐに間違いであることが証明されました。私が本当に大切にしているアイデアを実装するために、補助的なスキルを学ぶことが不可欠な瞬間が何度もありました。むしろ、デュアル 3090 に数十億パラメータの LLM を搭載しようとして夏を過ごした経験は、優れたエンジニアリング習慣の重要性を教えてくれました。しかしすぐに 10 月となり、私は NeurIPS の論文採択を心から願っていました。
NeurIPS
この経験を説明する他の方法が本当にあるとは思えません。まさに非現実的な体験でした。ポスター展示ホールは非常に広く、ほぼ突然、私と同じ興味を持つ人々があまりにも多く存在していることに気づきました。Twitter で見たアイデアや、さまざまなブログで読んだアイデアが、目の前で具現化されているのです。
ジェレミーに偶然遭遇したことを覚えています2。その後も会議の後は連絡を取り合いました。私が夏の間に出会った些細なエンジニアリングの問題が、後に私のメンターや共同研究者となる Answer.AI の人々との会話の中で再び浮上するとは、当時全く知りませんでした。
最近になって
昨夏、私は Austin Huang と WebGPU Puzzles の作成に協力しました。そして面白い事実として、これが GPU プログラミングとの 2 回目の遭遇でしたので、少し緊張しながら取り組みました。CUDA が何であるかについては一般的な理解があり、その時点で Sasha Rush の GPU Puzzles にも出会っていました。しかしすぐに、これらの経験から学んだアイデアが非常に役立つことに気づきました。
私がサシャのパズルで特に気に入っていた点は、私の主な焦点がパズルそのものを解くことにあったことです。まず、これらは Google Colab ノートブック上でホストされており、初心者にも優しいインターフェースを提供しています。また、構文に関しては、CUDA パズルには Numba が使用されており、Python と NumPy の知識があれば十分で、それ以上の専門知識は必要ありません。これらのパズルのアクセシビリティと使いやすさは、不必要な複雑さを排除し、並列計算を主に障害のない原則のセットに還元しました。その結果、C++ に関するあらゆることに気を取られることなく、コーディングチャレンジに近いものに集中することができました。
私は、WebGPU や gpu.cpp を試してみたい人々、あるいは単に GPU プログラミングの世界に飛び込もうとしている人々のためにこれを再現したかったのです。そこから、サシャの CUDA パズルの WebGPU 版を開発し、究極の初心者フレンドリーさを実現するために詳細な解決策セットを用意して取り組み始めました。それ以来、私は研究の原点に戻っており、現在は報酬モデルプロジェクト3に取り組んでいます。
研究以外では、私は MIT の1年生で数学とコンピュータサイエンスを専攻しています。これまでに受けた授業の中で最も好きなものはおそらく離散数学（非常に良く教えられています！）ですが、より多くの数学クラスを受講しなかったことを後悔しています。4 学校外では、チャールズ川で漕ぎながら日の出を見ること、AI 関連の Twitter を読むこと、そして愛犬と Facetime で話すことが大好きです。
脚注
プロセス報酬モデル（PRM）は、結果報酬モデル（ORMs）が応答全体を評価するのに対し、推論プロセスの各ステップでフィードバックを提供し、複雑なタスクの改善により細かく構造化されたガイダンスをもたらします。↩︎
私にとって究極の完全なループの瞬間です！↩︎
プレプリントはまもなく公開されます！↩︎
一般研究所の要件を片付けなければなりません↩︎
原文を表示
Jeremy Howard says: I’m really excited to introduce you all to Sarah Pan, an extraordinary and inspiring AI researcher who began working with Answer.AI whilst still at high school (and she had a first-author paper accepted at NeurIPS too)!
Sarah’s first project with us is WebGPU Puzzles, which is the best way I know of to get started with GPU programming fundamentals today. With it, you can begin learning GPU programming right in your browser. I was astonished at how Sarah was able to learn, from scratch, GPU programming, WebGPU, and gpu.cpp in a matter of weeks, to a level where she could pull this off.
I’ve asked Sarah to share a bit about her story, which she has done in the post below. She was also kind enough to spend some time doing an interview with me, which I’m sure you’ll agree is a fascinating insight into the life of an very special person.
Hey! My name is Sarah Pan and you might’ve seen my name attached to the WebGPU Puzzles project (based on Answer.AI’s gpu.cpp). A little about me: I’m a research fellow at Answer.AI as well as a first-year student at MIT! This means that outside of classes and all the other fun chaos of MIT, I work with the Answer.AI team on various projects, as well as on my own research.
The Origin Story
You might be wondering how I got here. (Sometimes, I do too.) But my AI journey began towards the end of middle school when my older brother introduced me to fast.ai. At the time, having R2D2 as my favorite Star Wars character was enough to propel me into taking the course.
Practical Deep Learning took a top-down approach to teaching about neural networks. This meant that the important high-level ideas weren’t gatekept by the nitty-gritty. Being able to understand the inner workings of complex systems without having taken a math class past Algebra I, and much less having a college degree, was very refreshing.
Fast forward to junior year of high school—-I had a few more AI experiences under my belt and was ready for more. I joined MIT Primes, a research program that connects high schoolers to researchers in mathematics, computer science, and computational biology. There, my mentor, Vlad Lialin showed me the ropes to everything from effectively reading academic papers to adopting the “iterate fast” ethos.
Together, we worked on the project that would become my first publication. I don’t want to bore you with the details, but we essentially used a process reward model 1 in RL to improve the reasoning abilities of LLMs.
Though this sounded pretty straightforward at the start, I was quickly proven wrong. There were many moments where learning auxiliary skills were essential to implementing the ideas I really cared about. If anything, a summer of trying to fit billion-parameter LLMs onto dual 3090s taught me about the importance of good engineering habits. But soon enough, October rolled around and my fingers were crossed for a NeurIPS paper.
NeurIPS
I don’t really know of any other way to describe the experience but surreal. The poster halls were huge and, almost out of nowhere, there were so many people with the same interests as me. All those ideas I saw on Twitter and read about on various blogs materialized in front of me.
I remember bumping into Jeremy entirely out of chance2, and we stayed in touch after the conference. Little did I know, those minute engineering problems I encountered over the summer would resurface in conversations with him and the people who would become my mentors and collaborators at Answer.AI.
As of late
Last summer, I collaborated with Austin Huang on creating WebGPU Puzzles. And fun fact, that was my second encounter with GPU programming, so I was a little intimidated going into it. I had a general understanding of what CUDA was and had stumbled upon Sasha Rush’s GPU Puzzles at some point, too. But soon enough I realized that the ideas those experiences taught me would be pretty useful.
One thing I appreciated about Sasha’s puzzles was that my main focus was on solving the puzzles themselves. For one, they were hosted in a Google Colab notebook, which has a beginner-friendly interface. And when it came to syntax, CUDA puzzles used Numba, which doesn’t require much knowledge beyond Python and NumPy. The accessibility and user-friendliness of these puzzles took away the unnecessary complexities and reduced parallel computing into a suite of largely unobstructed principles. That way, instead of worrying about all things C++, I could focus on something more akin to a coding challenge.
I wanted to replicate this for those that wanted to test out WebGPU/gpu.cpp, or even those just ``breaking into’’ GPU programming. From there, I set out on developing a WebGPU version of Sasha’s CUDA puzzles with a detailed set of solutions for ultimate beginner-friendliness. Since then, I’ve returned to my research roots–I’m currently working on a reward model project3.
Beyond research, I’m a first year at MIT studying math and computer science. My favorite class thus far is probably discrete math (it’s very well taught!) but regret not signing up for more math classes.4 Outside of school, I love watching the sun rise while rowing on the Charles River, reading AI Twitter, and Facetiming my dog.
Footnotes
A process reward model (PRM) provides feedback at each step of a reasoning process, unlike outcome reward models (ORMs) which evaluate the entire response, offering more granular and structured guidance for improving complex tasks.↩︎
Ultimate full circle moment for me!↩︎
preprint soon!↩︎
Have to knock out those general insitute requirements↩︎
関連記事
ポッドキャスト：Google 社員の AI への不満を揶揄するミームについて
404 Media のポッドキャストでは、Google 社員が自社の AI の性能の低さを皮肉る内部ミームについて言及し、マイクロソフトが新 AI アシスタントで依存症を作ろうとしているという内部文書の内容も紹介している。
Google の技術を採用した Siri AI が登場、しかし世界の多くは利用不可
Apple は WWDC 2026 で、ゼロから再構築された新 Siri AI を発表し、Google の技術を組み込んで多段階対話を実現したが、多くの地域ではまだ利用できない。
マクドナルド、Google 支援の AI ドライブスルー注文システムをテスト中
マクドナルドは、Google が支援する「ArchIQ」と呼ばれるAIシステムを米国の5店舗で試験運用しており、このシステムがドライブスルーでの注文受付や店舗運営をサポートしている。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み