Botika、Modal でフルスタック生成 AI を運用し画像生成を自動化

Botika は、グローバルなファッションブランド向けに視覚コンテンツの生産を自動化するエージェント型チームを構築しています。同社が自社で研究・訓練した独自モデルによって支えられ、4K 画像生成から大規模化されたリアルタイムパーソナライゼーションまで、すべてのパイプラインを一手に引き受けています。

この製品を支えているのは、フルスタックの AI オペレーションです。数百億パラメータを持つ独自の基盤モデル、100 テラバイト規模の画像データセットを処理するデータパイプライン、そして本番環境で推論を行う約 15 のモデルが稼働しています。これらすべてが Modal 上で動いています。

「現在の Botika が存在しなかった場合、Modal は不可欠だったと思います」と Botika の共同創業者兼 CEO のエラン・ダガン氏は語ります。「おそらく必要な人材は倍必要になったでしょう」

— エラン・ダガン氏、Botika 共同創業者 & CEO

AI ワークロードに特化したクラウドを求めて

ダガン氏と彼の共同創業者は、2018 年に生成 AI の開発を始めました。当時はそれを支えるためのツールセットがまだ存在しない時代でした。そのため、彼ら自身でツールを開発しました。ノードの自動スケーリング、コールドスタートの緩和策、Docker イメージの最適化、GPU フリートの管理などです。

「CUDA を実行する 1 つの VM で始めるのは簡単かもしれません。しかし、本当にスケールさせようとした途端に難易度が跳ね上がります。私の Kubernetes フリートでの経験では、特定のノードがなぜ不健康なのかを突き止めるために費やした作業量に驚きました。ドライバーの不具合を調査するだけで、数週間を無駄にしてしまうことさえありました」

— エラン・ダガン氏、Botika 共同創業者 & CEO

2023 年、創業者兼 CEO のエラン・ダガン氏は、より良い環境を求めて模索していました。主要な GPU クラウドベンダーの評価を進める中で、いずれも柔軟性に欠けるか、過度にカスタマイズが必要だと判断したのです。その時、AI インフラストラクチャの地図で Modal という名前を見つけました。彼が知らない名前だったため、ベータ版へのアクセスを申請しました。

「modal run と入力して実行した瞬間、それが即座に動作したのを覚えています。これで今すぐ 1 週間分の作業が節約できたと思いましたね」

— エラン・ダガン氏（Botika 創業者兼 CEO）

現在、Botika はデータパイプラインから本番環境での推論に至るまで、すべての運用を Modal 上で完結させています。

オーケストレーター不要の 100 テラバイト規模データパイプライン

Botika のデータパイプラインは、生きたファッション画像をトレーニングデータへと変換します。特徴量の生成、フィルタリング、タグ付け、クラスタリング、集約など、数十段階にわたる処理を行います。このプロセスでは、ゼロショットタグ付けを行うオープンソースの VLM（Vision-Language Model）から、Botika 社内で研究・開発した分類器まで、約 12 の異なる AI モデルが動いています。それぞれのモデルは、専用の GPU タイプ上で独立した環境で稼働しています。

パイプラインは当初 GCP Batch で実行されていましたが、Modal を導入する前は、データをエンドツーエンドで移動させるのに数週間を要しました。VM の起動、スクリプトの実行、手動でのスケーリングパラメータ調整などが必要だったのです。他の選択肢も同様でした。Airflow などのフル機能オーケストレーターを採用すれば DevOps の負担が増える一方、速度を犠牲にし続けるかというジレンマがありました。

GCP Batch でジョブが起動する頃には、Modal ではすでに千個のジョブを立ち上げている状態です」と Dagan は語ります。「あるジョブが完了したら次のジョブを実行する」という単純なロジックも、Modal なら容易に表現できますが、フルスケールのオーケストレーターがない他の環境では非常に困難です。

Modal を使えば、アプリケーションのコードファイルのみで、Modal が提供するほぼすべての GPU タイプを駆使し、数千のコンテナを並列実行しながら、100 テラバイト規模のデータセットを 1% 未満のエラー率で処理できます。

急速な最先端研究の実現

独自にファウンデーションモデルを訓練するにあたり、Botika の研究者たちはモデルを前進させるために数千回の実験的トレーニングを実行しています。Modal は、チームが望むペースでイテレーションを進める上で決定的な役割を果たしました。

Modal 導入前では、1 人の研究者が毎日実行できる実験はせいぜい 1〜2 回程度でした。しかし現在では、単一の研究者が 50 回の実験を走らせることができます。Claude を Modal に接続し、50 の短い実験を並列起動して、うまくいったものを選び出し、成功したものをスケールアップするのです。研究者たちは迅速なイテレーションのために Modal 上で独自にワークステーションを立ち上げ、エージェントが別の作業をしている間もジョブはバックグラウンドで実行されます。この実験の処理量は、スタートアップの研究チームというよりは、最先端ラボに匹敵するレベルです。

「賢明な人物と、その人の思考を翻訳する AI エージェント、そして非常に高速かつ応答性の高い計算リソースへのアクセスを提供すれば、圧倒的に多くの成果が得られます」と Dagan は言います。「創業者として、すべての部署のスピードがどれほど速いかを目の当たりにしています。Modal がなければ、研究チームは 6 ヶ月も遅れをとっていたでしょう。」

Botika は、4K 画像生成のための独自基盤モデルをトレーニングしています。この作業は数週間続き、多数の GPU を必要とします。Botika のような規模のチームが、これほど大規模なトレーニングを行うケースは稀です。ましてや、自前でインフラを構築する必要がない環境で実施する例はさらに少ないでしょう。

同チームは、Modal のマルチノードトレーニング機能をいち早く採用したグループの一つです。まだ実験機能としてフラグ付きだった時期から、クロス GPU 通信や RDMA ネットワークが初日から稼働していました。

最近では、Modal のプリミティブのみを使用して、強化学習（RL）のインフラをわずか 1 日で構築しました。報酬サーバーは、起動された Modal 関数として動作します。トレーニングジョブ中にも、反復的な報酬モデリングのために追加ジョブを動的に生成します。ロールアウトの実装も容易でした。

すべてのコンポーネントが一つのプラットフォーム上に存在するため、研究チームが RL トレーニング用に構築した報酬サーバーは、本番環境の推論スタックでもそのまま再利用されています。「SageMaker や Vertex では、このシナリオは実現できません」と Dagan 氏は語ります。「サーバーを一つ用意し、トレーニング中も推論中もデータパイプライン中も、同じ場所でアクセスしたい。Modal ならツール間を行き来する必要がありません。これにより、時間と複雑さを大幅に削減できます。」

需要に応じてスケールする推論

Botika は、常に約 15 のモデルを本番環境で稼働させています。対象となる GPU は L4、L40S、A100、H100 に及びます。Modal がキューイング、自動スケーリング、コールドスタートの処理を担当するため、各サービスの手前に Redis キューを追加する必要はありません。

AI トラフィックは従来のスケーリングモデルを破綻させるため、Botika のチームが最も重視するのは、Modal の瞬時の弾力的なスケーリング能力です。

「数秒間でトラフィックを2倍や3倍に増やすことも可能ですが、誰もそれに気づきません。社内の技術担当者も気にすることはありません。Modal は自動的に機能してくれるからです。」

— Eran Dagan, Co-founder & CEO

邪魔をしないクラウド

「もはや従来のクラウドベンダーと連携する必要はありません。計算リソースを含む事業の99% は、すべて Modal で実行されています。」

— Eran Dagan, Co-founder & CEO

Botika のようなチームにとって重要なのは、特定の構築方法に縛られることなく必要な作業を遂行できるインフラです。Modal では、Botika は Modal 固有の方法ではなく、オープンソースや独自フレームワークを修正することなく実行し、 proprietary なブラックボックスに触れることもありません。「今では私たちのワークフローに不可欠な存在です。何かを実行する必要がある場合、関数を書き modal run と入力するだけで、すぐに動作します。」

Dagan 氏がオンボーディングしたエンジニアは皆、同じ結論に至ります。Kubernetes の時代に戻ることは二度とないのです。