OpenAI 共同創設者カパティ氏、次世代 AI テスト手法を模索
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Decoder
OpenAI 共同創設者のアンドレイ・カパティ氏が、Claude Opus 5 を用いて『指輪物語』の1段落から3D ブラウザシーンへ変換する実験を行い、次世代の AI 評価基準(vibe test)を模索していることを示した。
AI深層分析を開く2026年8月3日 23:28
AI深層分析
キーポイント
新たな AI 評価指標の提案
Karpathy は従来の「pelican test」や「unicorn test」が限界に達したとし、複雑な文脈理解と創造性を試す新しいテスト手法を提唱する。
Claude Opus 5 の実演実験
Karpathy は Claude Opus 5 に『指輪物語』の冒頭段落を与え、100万トークンの予算で Three.js を用いた 3D ブラウザシーンを生成させることに成功した。
ゲーム開発への応用可能性
この技術はユーザーを背景キャラクターや主人公として投入するオンデマンド型ゲーム世界の構築に活用できると Karpathy は指摘している。
重要な引用
Karpathy's argument is that the well-known pelican test is close to maxed out.
None of this produces hard benchmarks. They're vibe checks.
編集コメントを表示
編集コメント
Karpathy が提唱する「vibe test」は、AI の能力が高度化する中で、従来のテストでは捉えきれない創造性や文脈理解の質を評価する新たな視点を提供している。このアプローチは、開発者が AI モデルの実用性を判断する際の基準を再考させる重要な示唆を含んでいる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
「ロード・オブ・ザ・リング」の1 段落を、5,500 行のコードに変換。アンドレイ・カルパシー氏が Claude Opus 5 にトールキンの序文を読み込ませ、3D ブラウザシーンとして描画させた。
このモデルは約2時間稼働し、バジェットは100万トークン(約10 ドル相当)でした。レンダリングには、ブラウザ向けの3D グラフィックスライブラリである Three.js が使用されています。カルパシー氏は ソースコード をオンライン上に公開し、誰でもシーンを読み込んで修正できるようにしています。
カルパシー氏の主張は、よく知られている「ペリカンテスト」がすでに限界に近づいているという点にあります。サイモン・ウィルソン氏によるこの遊び心のあるベンチマークでは、モデルに対して自転車を漕ぐペリカンの SVG を描画させます。このプロンプトは、学習データに既に存在しないほど奇妙な題材を選ぶように意図されています。このアイデアの源流はさらに古く、2023 年には Microsoft が GPT-4 に TikZ でユニコーンを描かせ、その結果を「AGI の火花」論文の一部として提示し、空間推論能力の証拠としました。当時の GPT-4 はテキストデータのみで訓練されたものであり、現在主要なチャットボットを支えるようなマルチモーダルモデルとは異なります。
カルパティ氏は、この結果を「荒々しいが面白い」と評しました。音声は Eleven Labs が提供し、モデル自体がオブジェクトの配置とアニメーションを担当しています。手作業でこのような世界を作ることは誰もしないでしょうが、モデルを使えばほぼ無料で実現可能だとカルパティ氏は語ります。ユーザーを脇役や主人公として投入できるオンデマンド型のゲームワールドへの可能性を感じているようです。
しかし、まだ課題も残っています。このモデルは生成した動画自体を確認できず、代わりにスクリーンショットに依存せざるを得ませんでした。その結果、エラーが発生しました。他のユーザーたちは Opus 5 でブラウザゲーム全体を記述 しています。ファーストパーソンシューターから Minecraft クローンまで、あらゆるジャンルが試されています。これらは厳密なベンチマークを生成するものではなく、「雰囲気チェック」の域を出ないものです。
カルパティ氏は OpenAI の共同創設者であり、テスラでは AI 部門の責任者を務めました。その後、教育スタートアップ「Eureka Labs」を運営し、2026 年 5 月からは Anthropic で事前学習研究 に取り組んでいます。
過剰な期待を排した AI ニュース – 人間が厳選
THE DECODER に登録すれば、広告なしでの閲覧、週刊の AI ニュレター、年 6 回の独占「AI Radar」フロンティアレポート、アーカイブへの完全アクセス、そしてコメント欄の利用が可能になります。
原文を表示
One paragraph of "Lord of the Rings" in, 5,500 lines of code out. Andrej Karpathy had Claude Opus 5 turn Tolkien's opening into a 3D browser scene.
The model worked for about two hours, had a budget of one million tokens (roughly $10), and rendered everything in Three.js, a graphics library for 3D in the browser. Karpathy posted the source code online so others can play back and modify the scene.
Karpathy's argument is that the well-known pelican test is close to maxed out. Simon Willison's fun benchmark asks a model to draw an SVG of a pelican riding a bicycle, a prompt chosen to be absurd enough that the subject wouldn't already exist in training data. The idea goes back further. In 2023, Microsoft had GPT-4 draw a unicorn in TikZ as part of its Sparks of AGI paper and pointed to it as evidence of spatial reasoning. GPT-4 at the time was trained on text data only, unlike the multimodal models that now power every major chatbot.
Karpathy calls the result rough but fun. Eleven Labs provided the audio, while the model placed and animated objects on its own. Nobody would build worlds like this by hand, Karpathy says, but with a model it's nearly free. He sees potential for on-demand game worlds where users could be dropped in as side characters or protagonists.
One problem remains. The model can't watch its own video output and had to rely on screenshots instead, which led to errors. Other users are having Opus 5 write entire browser games, from first-person shooters to Minecraft clones. None of this produces hard benchmarks. They're vibe checks.
Karpathy co-founded OpenAI and served as head of AI at Tesla. He later ran the education startup Eureka Labs and has been working on pre-training research at Anthropic since May 2026.
AI News Without the Hype – Curated by Humans
Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み