tldraw のキャンバスで動作するエージェント — スティーブ・ルイス氏

• tldraw開発
• OpenAIprovider
• Anthropicprovider

1. 01

   キャンバス内エージェントの実装

   AI エージェントをサイドバーから外し、tldraw のキャンバス上に直接配置して視覚的に状態や行動を確認できる仕組みを構築した。

2. 02

   複数エージェントの協調作業

   複数のファニー（妖精）型エージェントを同時に起動し、リーダー選出とタスク委任による複雑な描画作業を協働で遂行するデモを行った。

3. 03

   視覚データと構造化出力の融合

   画像生成モデルの限界を克服するため、テキストベースの構造化出力を用いてグラフや図形を正確に描画する手法の利点を解説した。

4. 04

   ローカル環境への強力な介入

   エージェントがローカルアプリのコードを直接書き換え、スクリプト注入を行う能力について、その有用性とセキュリティリスクの両面から論じた。

この動画は、AI エージェントの UI/UX が「チャットボックス」から「ワークスペース内への没入型アバター」へと進化することを示しており、開発ツールやデザインツールの未来像を大きく変える可能性があります。また、ローカル環境に直接介入する権限を持つエージェントの実現は、生産性の飛躍的向上をもたらす一方で、セキュリティとガバナンスの新たな課題を浮き彫りにしています。