Liquid AI、CPU で高速な 8K コンテキスト対応バイディレクショナルエンコーダーを公開

記事の3ポイント

1. 1

   CPU 最適化された双方向エンコーダーの公開

   Liquid AI は LFM2.5-Encoder-230M と 350M の二つのオープンウェイトモデルをリリースし、GPU を使用せずに CPU で 8,192 トークンのコンテキストを高速処理可能とした。

2. 2

   デコーダーからの転用とアーキテクチャ変更

   両モデルは既存のデコーダーバックボーンから初期化され、因果的アテンションマスクを双方向へ変更し、対称パディングによる非因果的短縮畳み込みを導入して構築された。

3. 3

   高精度なベンチマーク結果

   17 タスクの平均スコアで 350M モデルが 81.02 を記録し、XLM-R XL や ModernBERT-large などより大型のモデルに匹敵する性能を発揮した。