llm-all-models-async 0.1 のリリース
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Simon Willison Blog
Simon Willison が開発する LLM プラグインフレームワーク「llm」のバージョン 0.1 を公開した。このアップデートにより、API 連携モデルに必須となる非同期（async）処理に対応する新しいモデル定義機能がサポートされた。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
リリース: llm-all-models-async 0.1
LLM プラグインは、同期 (sync) および 非同期 (async) の両方のバリエーションで新しいモデルを定義できます。API に依存するモデルでは非同期版が最も一般的であり、同期版は通常、プラグイン内で直接モデルを実行するものです。
私の llm-mrchatterbox プラグインは同期専用です。Datasette の LLM 機能（具体的には datasette-enrichments-llm）で試してみたいと考えていましたが、Datasette は非同期モデルしか使用できません。
そこで、Claude に同期モデルをスレッドプールを使用して非同期モデルに変換するプラグインを作成させました。これには LLM 自体に追加のプラグインフック機構が必要となり、私はこれを直近の LLM 0.30 でリリースしました。
原文を表示
Release: llm-all-models-async 0.1
LLM plugins can define new models in both sync and async varieties. The async variants are most common for API-backed models - sync variants tend to be things that run the model directly within the plugin.
My llm-mrchatterbox plugin is sync only. I wanted to try it out with various Datasette LLM features (specifically datasette-enrichments-llm) but Datasette can only use async models.
So... I had Claude spin up this plugin that turns sync models into async models using a thread pool. This ended up needing an extra plugin hook mechanism in LLM itself, which I shipped just now in LLM 0.30.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み