datasette-llm-limits 0.1a0 のリリース
Simon Willison が公開した「datasette-llm-limits」プラグインは、Datasette 上で LLM 利用コストをユーザー別またはグローバルに管理するための機能を提供する。
キーポイント
LLM コスト管理の機能追加
既存の datasette-llm および accountant プラグインと連携し、LLM 利用におけるユーザー別またはグローバルな支出制限を設定可能にする。
柔軟な設定オプション
アクター(actor)ごとのスコープやローリング 24 時間ウィンドウなど、詳細な期間と対象を指定したコスト制御が YAML 設定で実現できる。
オープンソースによる実装
GitHub で公開されたバージョン 0.1a0 のプラグインとして提供され、Datasette ユーザーが即座に導入・テスト可能な状態にある。
影響分析・編集コメントを表示
影響分析
本リリースは、LLM を利用する Web アプリケーション開発者が、コスト超過やリソースの濫用を防ぐための具体的な手段を提供します。特にオープンソースツールであるため、小規模なプロジェクトから大規模なエンタープライズ環境まで、柔軟に導入可能な点で実務的な価値が高いです。
編集コメント
LLM の利用が一般化する中で、コスト制御機能は必須の要素となりつつあります。このプラグインはその要請に応える実用的なソリューションです。
リリース: datasette-llm-limits 0.1a0
このプラグインは、datasette-llm および datasette-llm-accountant と連携し、Datasette 内の LLM(大規模言語モデル)利用に対して、ユーザー別またはグローバルな支出制限を設定できるようにします。設定例は以下のようになります:
plugins:
datasette-llm-limits:
limits:
per-user-daily:
scope: actor
window: rolling-24h
amount_usd: 1.00
原文を表示
Release: datasette-llm-limits 0.1a0
This plugin works in conjunction with datasette-llm and datasette-llm-accountant to let you configure a per-user (or global) spending limit for LLM usage inside of Datasette. Configuration looks something like this:
plugins:
datasette-llm-limits:
limits:
per-user-daily:
scope: actor
window: rolling-24h
amount_usd: 1.00
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み