SmolVLM2-2.2B を用いたフレーム処理によるローカル動画要約パイプライン

記事の3ポイント

1. 1

   消費者ハードウェアでの実行可能性

   SmolVLM2-2.2B は 5.2 GB の GPU メモリで動作し、RTX 3060 や MacBook Pro M2 といった一般的なワークステーションや Google Colab の無料 T4 タイアでも利用可能である。

2. 2

   ベンチマークにおける高性能

   動画理解の標準的長尺評価指標 Video-MME において、同規模（2B スケール）の既存モデルすべてを上回る性能を示している。

3. 3

   トークン化戦略による効率化

   画像を高密度にトークン化する従来の手法に対し、384x384 の画像パッチを 81 トークンに圧縮するピクセルシャッフル戦略を採用し、コンテキスト予算の制約を克服している。