#llm コスト最適化のAIニュース

4件の記事

Ramp、AI コスト管理にトークン追跡機能を追加

決済プラットフォーム「Ramp」は、生成 AI の利用に伴うトークン消費コストの増加に対応するため、トークン使用量の追跡機能を拡充した。これにより企業は AI 関連支出をより詳細に把握できるようになる。

NVIDIA のジェンソン・ファンCEOは、エンジニアの年間AIトークン使用量が給与の半分を超えない場合、コスト効率が悪すぎると懸念を示し、同社のエンジニア部門向けに年間20億ドルのトークン予算目標を設定している。

Pragmatic Engineer の Gergely Orosz は、大手テック企業やスタートアップのエンジニアリングリーダーが、AI への支出を削減しようとする動きがあるというトレンドを紹介している。

GitHub は、リポジトリのクリーンアップを行うエージェント型ワークフローのコスト削減のため、トークン使用効率を改善する手法を発表した。自動実行される CI ジョブでのコスト蓄積を防ぐ狙いがある。