2件の記事
GitHub で公開されたリポジトリが、画像や音声など複数のデータタイプを同時に処理するネイティブ型多モーダルモデルを紹介している。
研究者らは、トランスフォーマー言語モデルの推論コスト削減のため、時間軸以外の「深さ」次元に焦点を当てた新しい手法「確率的 KV ルーティング」を提案し、キーバリューキャッシュのメモリ使用量を大幅に削減できることを示した。