Snowflake、AI クエリ自動ルーティングでコスト最大3倍削減

記事の3ポイント

1. 1

   動的モデルルーティングの導入

   Snowflake は Cortex AI Gateway に「auto」モードを追加し、タスクの品質とコストのバランスに基づいて最適なモデルを自動選択する機能を搭載した。

2. 2

   2 つの決定メカニズム

   システムはまず小規模モデルで試行し失敗時に大規模モデルへ移行する「アドバイザーパターン」と、過去のクエリ履歴に基づいて単純な質問を簡易モデルへ振り分ける「分類器」の 2 つの仕組みを採用している。

3. 3

   ガバナンスとアクセス制御の統合

   ルーティング機能はデータレベルのロールベースアクセス制御や、承認されたモデルのバケットへのマッピング、エージェントごとの権限制約と密接に連携して実装されている。