エージェントに力を：Workers AIが大規模モデルを実行開始、Kimi K2.5から

同期レート制限を超えるような大量のリクエストについては、非同期で完了する推論のバッチを送信できます。私たちは刷新された非同期APIを導入しており、これにより非同期ユースケースにおいて、容量不足エラーに遭遇することなく、推論が確実に実行されるようになります。私たちの非同期APIは、バッチAPIというよりもオンデマンド処理に近く、モデルインスタンスに余裕がある限り、非同期キュー内のリクエストを処理します。内部テストでは、非同期リクエストは通常5分以内に実行されますが、これは実際のトラフィック状況に依存します。Kimiを一般公開するにあたり、スケーリングを適宜調整しますが、非同期APIは、確実なワークフローで容量不足エラーを回避するための最良の方法です。これは、コードスキャンエージェントやリサーチエージェントなど、リアルタイム性を必要としないユースケースに最適です。 Workers AIには以前から非同期APIがありましたが、最近その基盤システムを刷新しました。従来のプッシュベースシステムではなく、プルベースシステムを採用することで、容量に余裕が生じ次第、キューイングされたリクエストを取り込めるようになりました。また、非同期リクエストのスループットを調整するためのより優れた制御機能を追加し、GPU使用率をリアルタイムで監視し、使用率が低いときに非同期リクエストを取り込むことで、重要な同期リクエストに優先権を与えつつ、非同期リクエストも効率的に処理できるようにしました。 非同期APIを使用するには、以下のようにリクエストを送信します。また、推論が完了したときに通知を受け取るためのイベント通知を設定する方法もあり、リクエストをポーリングする必要がありません。 ```javascript // (1.) キューにリクエストを送信する // queueRequest: true を指定する let res = await env.AI.run("@cf/moonshotai/kimi-k2.5", { "requests": [{ "messages": [{ "role": "user", "content": "Tell me a joke" }] }, { "messages": [{ "role": "user", "content": "Explain the Pythagoras theorem" }] }, ...{ } ] }, { queueRequest: true, }); // (2.) リクエストIDを取得する let request_id; if(res && res.request_id){ request_id = res.request_id; } // (3.) ステータスをポーリングする let res = await env.AI.run("@cf/moonshotai/kimi-k2.5", { request_id: request_id }); if(res && (res.status === "queued" || res.status === "running")) { // 再試行: 再度ポーリングする // ... } else { return Response.json(res); // これには最終的な完了レスポンスが含まれます } ``` ### 今日試してみてください 今日からWorkers AIでKimi K2.5を始めましょう。開発者向けドキュメントを読んで、モデル情報と価格、およびセッションアフィニティヘッダーと非同期APIを介したプロンプトキャッシングを活用する方法を確認できます。Agents SDKスターターも、デフォルトモデルとしてKimi K2.5を使用するようになりました。Opencode経由でWorkers AI上のKimi K2.5に接続することもできます。ライブデモについては、プレイグラウンドでお試しください。 そして、サーバーレス推論、ML最適化、GPUインフラストラクチャに関するこの一連の課題に興味をお持ちでしたら、私たちは採用活動中です！

エージェントに力を：Workers AIが大規模モデルを実行開始、Kimi K2.5から

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト