#推論ワークロード のAIニュース

真のサーバーレス GPU を実現する方法（20 分読了）

Modal は、推論ワークロードの変動に対応するため、新しいレプリカの起動時間を数キログ秒から数十秒に短縮し、真のサーバーレス GPU スケーリングを実現した。