tldraw のキャンバスで動作するエージェント — スティーブ・ルイス氏

AI エージェントは「チャット」から「共作パートナー」へ：tldraw 創業者が描く未来の UI/UX

従来の AI ツールは、画面の隅にあるチャットボックスと対話する形式が主流でしたが、オンラインホワイトボードツール「tldraw」の創業者スティーブ・ルイス氏は、AI エージェントをワークスペースそのものに没入させる新しいパラダイムを提案しています。

サイドバーに隠れた AI をキャンバス上に直接配置し、視覚的に状態を確認しながら協働するこのアプローチは、「対話」から「共作」へとユーザー体験を根本から変える可能性を秘めています。

キャンバス上に姿を見せる「共作パートナー」

スティーブ氏が提唱するのは、AI エージェントを画面外に隠すのではなく、tldraw のキャンバス上に直接配置する仕組みです。これにより、ユーザーは AI が何を考えているか（思考プロセス）、何をしようとしているか（行動）を視覚的に即座に把握できます。

従来のチャット型インターフェースでは、AI が裏側でどう動いているのか見えないため、ユーザーは「キーボードを別の AI に手渡している」感覚しか得られませんでした。しかし、キャンバス上にエージェントを配置することで、まるで隣にいる同僚のように振る舞うことができます。

「エージェントの状態を確認できますよね？これらは複数のターミナルウィンドウやその類です。彼らが何をしているかをある程度見ることができます。」

この視覚化により、AI の思考プロセスが透明化され、ユーザーは AI の行動をより自然に監督・調整できるようになります。

複数エージェントによる協調とリーダーシップ

単一の AI エージェントではなく、複数の「妖精（フェアリー）」型エージェントを同時に起動し、複雑なタスクを協働で遂行するデモも披露されました。このシステムでは、エージェント同士が互いの行動を認識し、役割分担を行います。

例えば、3 匹の妖精を呼び出すと、その中から自動的に「リーダー」が選出されます。リーダーはキャンバス上の状況を偵察し、ToDo リストを作成して他のエージェントにタスクを委任します。一方、他のエージェントは描画などの具体的な作業を担当します。

「この子がリーダーで、キャンバス上の状況を偵察し、その後 ToDo リストを作成して、他のエージェントにタスクを割り振ります。」

また、各エージェントの行動が重複しないよう、リーダーが監視役として機能し、タスクの完了状況や正しさを確認・評価する役割も担います。これは、昨今の「オーケストレーション（調整）」技術の実用的な応用例と言えます。

画像生成モデルの限界を越える「構造化出力」

AI がキャンバス上で正確に図形やグラフを描画するためには、従来の拡散モデル（画像生成 AI）の限界を超える必要があります。スティーブ氏は、画像生成モデルが抱える以下の課題を指摘します。

1. トレーニングデータの不足: 視覚的な構造化データ（座標系や幾何学的な図形など）に関する学習データは、テキストに比べて圧倒的に少ない。
2. 矛盾する情報: 画像内の座標系は文脈によって矛盾することがあります。例えば、ウェブのグラフでは「上に行くほど数値が増える」のが一般的ですが、画像生成モデルのトレーニングデータには「左上がゼロ」といった異なる慣習も混在しており、AI が予測不可能な挙動を示す原因となります。

これを解決するため、tldraw のアプローチは「テキストベースの構造化出力」を採用しています。AI に画像を生成させるのではなく、「円を描く」「グラフの Y 軸を 0 から 5 まで描く」といった具体的な命令（ツール呼び出し）を介して、確実な図形を作成させます。

「モデルを探求し、モデルが何を知っているのか、またそれらをどう処理できるかを確認する手段です。猫にろうそくの火を吹き消させることもできます。」

この手法により、AI は「描いて」という曖昧な指示に対して、正確な図形やインタラクティブな要素としてキャンバス上に実装することが可能になります。

ローカル環境への強力な介入とリスク管理

最も驚くべき点は、tldraw が Electron で構築したデスクトップアプリを通じて、ローカル環境に直接介入するエージェントの実現です。Web ブラウザの制約（サンドボックス）を避け、ファイルベースのオフラインアプリとして動作させることで、AI により強力な権限を与えています。

例えば、「Spotify アプリからポッドキャストを削除して」という指示に対し、AI はローカルのコードを確認し、最小化されたバンドルファイルを直接書き換えて機能を除去することも可能です。また、スクリプト注入を行い、アプリ自体に新しい UI や機能を実装させることもできます。

「ローカルファイルベースのアイデアが、自分自身を露出できるようなクラウドやエージェントに対して、ローカルで essentially スクリプト注入のような動機づけが、以前は理想主義だったあのことを、これが唯一の方法だと思わせるようになりました。」

このアプローチには明確なリスクとメリットがあります。ユーザーに「幸運を」と言うしかないほど強力な権限を持つ一方で、セキュリティ上の懸念や誤操作のリスクも高まります。しかし、スティーブ氏は「リスクを取ってそのリスクを引き受けるなら、エージェントの可能性を最大化できる」と主張し、OpenClaw などの事例を引用して、この強力なツールをユーザーが楽しみながら活用する未来を示唆しています。

まとめ

スティーブ・ルイス氏の提唱する「キャンバス内エージェント」は、AI を単なる質問応答の道具から、作業空間に溶け込む共作パートナーへと進化させる重要なステップです。視覚的な可視化、複数エージェントによる協調、そしてローカル環境への深い統合——これらは開発ツールやデザインツールの未来像を大きく変える可能性を秘めています。

ただし、その強力な実行能力は、セキュリティとガバナンスの新たな課題も浮き彫りにします。ユーザーが AI の権限をどう管理し、信頼関係を築いていくかが、今後の重要な鍵となるでしょう。