2BのVLMで工場の作業者の動画解析をしてみた

初めまして、AIエンジニアのYusukeと申します。

以前私はこのような動画を投稿しました。

この続きとして、最近私は個人のプロジェクトとして、工場の作業者が頭につけたカメラの映像を、手元の小さなAIモデルで解析するということをしています。以下にこの1週間の実験でわかったことを自分の頭の中の整理も兼ねてまとめます。(本記事は私の個人のXで以前公開した内容になります。元の記事はこちらです。)

まだ始めたばかりのプロジェクトなので間違いを述べている可能性があります。参考程度にご覧ください。

• 1. なぜこのプロジェクトをやっているのか

• 2. 何をしようとしているのか

• 3. どうやるのか

① AIモデルの選定

• ② データを用意する

• ③ VLMで動画解析して評価する

• 4. 現状の結果

うまくいっているもの

• うまくいっていないもの

• 5. 課題とその解決策

① 一貫性を持った正解を作ることが難しい

• ② OSSのVLMにタイムスタンプを出させることは基本的には難しい

• ③ 複雑なイベントを検出するのが難しい

• 6. これから

• エンジニアを募集しています

1. なぜこのプロジェクトをやっているのか

このプロジェクトが解こうとしている社会課題は、人の安全・商品の品質の保証です。

工場では、手順の抜け、順序の間違い、危険な工具操作が、人身事故や設備損傷、品質不良、ライン停止につながると考えています。これらを防ぎたいという思いがあります。

さらに、私がやりたいのは解析の結果を作業中の本人にその場で通知することです。カメラの映像を継続的に解析し、今どの手順か、何が終わったか、何が抜けているかを把握して、損失が発生する前に本人と監督者へ知らせることが理想です。

ここで重要なのはオフラインでこの処理を行うべきだと考えていることです。現場の映像は外部に出すことが難しい状況が多いと考えています。特に日本の産業現場では、製造ラインの映像は機密情報や個人情報が含まれていると考えます。OpenAIなどのクラウドのAPIに送るという選択肢を選ぶことは難しいと考えています。

つまりモデルは小さくなければなりません。私は今、2B（20億パラメータ）クラスのVLMを用いているを使うのは、そのような理由があります。できればもっと小さいAIモデルを使用したいと考えています。

2. 何をしようとしているのか

工場の作業者の一人称映像から、事前に決められた手順が「いつ」行われたかを特定します。このタスクは VTG（Video Temporal Grounding） と呼ばれます。実際にAIに何が入力されているのかというと、

入力: 動画 + 「作業者が袋を逆さにして部品を容器へ落としている」
出力: 開始・終了タイムスタンプ、または「該当なし」

具体例だと、

旋盤で作業している動画.mp4 ＋ テキストで「作業者が旋盤を起動する」 → AIモデル → 00:30 - 00:40

みたいになります

動画の中のどこでその作業をしているのかを当てるタスクです。

[https://www.researchgate.net/figure/Examples-of-temporal-video-grounding-The-goal-of-temporal-video-grounding-is-to-localize_fig1_385750391](https://cdn-ak.f.st-hatena.com/images/fotolife/m/mikami_algomatic/20260724/20260724105538.png)

映画で「主人公が指輪を捨てるのはどこ？」と聞かれて、「1時間58分から2時間0分」のように時刻で答えるのがVTGです。「捨てていました」とだけ答えるのはキャプショニングであって、VTGではありません。

時刻にこだわるのは、その動作が「見えたか」どうかだけでは手順の判定ができないからです。いつ始まり、いつ終わり、どの順序だったかがわかって初めて、抜け・順序違い・異常な長時間化を判定できると考えます。

3. どうやるのか

では、このVTGを行うためには何が重要なのでしょうか。

重要なのは、①モデルの選択、②データ、③推論、の３つかなと思います。

① AIモデルの選定

まずはどのAIモデルを使うのかということです。私は今VLMを使っていますが、これは絶対にVLMでないといけないわけでは全くありません。

VLMでない方法もあります。昔からある領域の研究ですが、最近の研究では、UniversalVTGというVLMではないVTGを行う専用モデルも存在します。場合によりますが時刻を出すことだけならそちらのほうが良いかもしれません。

現状VLMを選んでいる理由は二つあります。一つ目は汎化性能です。それぞれの工場では色々な作業が行われています。色々な機械や道具が使われています。VLMを用いることで色々な工場の映像に対応可能だと考えます。二つ目は、複雑なプロンプトに対応可能だからです。例えば工場の作業者が行うような「Aを持ちながら、BをCに設置する」複雑な動作を検出できる可能性が高まると考えています。

現在使用しているモデルはMarlin-2Bです。これはQwen系のモデルをベースにタイムスタンプを出力することに特化されたモデルです。もともとQwen系のモデルはそこまでタイムスタンプを出力することに慣れていません。このモデルの開発者は、タイムスタンプを出力させるように特化させて学習させることにより、あるイベントのテキストの説明と動画を与えたときにそれが動画内のどこで発生しているのかを出力することができるモデルを開発しました。

② データを用意する

二つ目はデータを用意することです。データがなければ分析ができません。今回は「工場の作業者のデータ」が必要です。

大きな課題は、産業向けの一人称データセットがほとんど存在しないことです。厳密には、一人称視点の動画のオープンソースのデータセット自体は結構ありますが、産業系に絞ると減り、有名なEgo4Dというデータセット工場の動画がほとんどというわけではないです。データソースの例としてEgo4D、EgoScaleがあります。

[https://ego4d-data.org/](https://cdn-ak.f.st-hatena.com/images/fotolife/m/mikami_algomatic/20260724/20260724105807.png)

[https://www.egoscale.com/](https://cdn-ak.f.st-hatena.com/images/fotolife/m/mikami_algomatic/20260724/20260724105843.png)

現状、私はデータとしてはEgocentric-10kという動画を使用しています。

これは、インドの工場で働く方の頭にカメラをつけて撮られたものらしいです。色々な工場で撮影されており、色々な作業があることがわかります。

データは見つかりました。しかし、問題はラベルがないことです。ラベルとは「10秒から14秒にこの作業をしている」という区間と内容の記録です。そもそもこの正解、がないと、AIの出力がどれくらい正しいかという採点ができません。自動化も試しましたが、Codex/Claude Code等に任せても完成度は4割程度にとどまります。残りは人手で作ることになります。今後は、データセットを少し変えていく、もしくはGeminiを用いたアノテーションを試していきます。もしくは多数のアノテーションがあるデータセットから工場の動画だけを抽出して新しいデータセットを作るなどは考えられます。現状は手動でアノテーションをしています。

試しに自動でアノテーションするスキルを作ってみました。こちらです。

③ VLMで動画解析して評価する

最後に実際に実行して評価します。まずは、どのモデルがどれくらいできるのかを測ります。人手で作ったラベルを正解として、各種VLMに同じ条件で区間を予測させ、正解とどれくらい近いかという指標(IoU)で採点します。

[https://www.researchgate.net/figure/The-illustration-of-Temporal-IoU-Intersection-over-Union_fig11_354648496](https://cdn-ak.f.st-hatena.com/images/fotolife/m/mikami_algomatic/20260724/20260724105957.png)

IoUは正解区間と予測区間の重なり具合（0〜1）です。わかりやすく待ち合わせで説明すると、相手が13:00〜13:30、自分が13:15〜13:45に待ち合わせ場所にいたら、会えたのは15分です。この重なり具合の全体のうちの割合を求めたいので、15分/45分＝約0.33で、完全に一致すれば1.0になります。

4. 現状の結果

工場動画20本（20秒・2fps）に人手で68イベント・81区間のラベルを付け、4B以下を同一条件で比較しました。そもそもタイムスタンプを出力することに慣れてないので、この結果だけではQwenが精度が悪いとは一概に言えないので参考程度にご覧ください。

GIF動画でのデモ。オレンジが正解、青が予測。

うまくいっているもの

黄色の線が正解で、薄い青い線で示されているものが予測です。

それぞれのイベントが日本語で左側にテキストで示されています。

うまくいっていないもの

黄色と青の線がずれており、予測が正しくできていないことがわかります。

一般的に作業者の一人称の動画は、何をしているのかがわかりにくいことが多くそもそもイベントのテキストでの表現が難しいことが多いです。

5. 課題とその解決策

① 一貫性を持った正解を作ることが難しい

作業者の動きは複雑で、一つの動画に対して「正しそうなアノテーション」が複数思いつきます。特に効くのが粒度です。料理の記録を「料理をした」と書くか、「切った／炒めた／盛り付けた」と書くか。どちらも正しいですが、混ぜると評価が壊れます。

アノテーションを行う時にはまずどのようにアノテーションするべきかという定義から入るのが重要です。定義が曖昧なままだと、アノテーションを付ける人によって結果が変わってしまいます。

② OSSのVLMにタイムスタンプを出させることは基本的には難しい

オープンソースのVLMは動画を理解するのは得意でも、時刻を出せるかどうかは別の能力です。映画を面白く語れる人が「あのセリフは何分何秒？」に答えられるとは限らないのと似ています。

ちなみに、VLMに動画を入力するときには、各画像フレームが直接そのままLLMに入力される訳ではありません。フレームには位置情報が埋め込まれ、例えばQwen3 VL系ではフレーム間にタイムスタンプのトークンが挿入されたりします。これは、写真の束の裏に通し番号と時刻を書いておくようなものです。

この以下のアーキテクチャを説明する画像の"Video1"と書かれたところを見ると、画像との間に時刻を示すトークンが挿入されていることがわかります。

https://arxiv.org/pdf/2511.21631

つまり、これによって、どの画像がどのタイミングのものか、がLLM側に伝わるようになります。

うまくいきそうに見えますが、それでもうまくタイムスタンプを出力させることができるモデルは限られます。

この課題に対する解決策は二つあります。タイムスタンプの出力に特化したモデル（Marlin-2Bなど）を使うか、「この作業ステップは完了したか」をYes/Noで答えさせるなど、時刻を出さないタスクに変換するかです。

③ 複雑なイベントを検出するのが難しい

例えば、検出しにくいオブジェクトがある場合には、検出しようとしている物体を詳細に説明してあげることで検出の精度が上がります。

例えば、「ノブをまわしている」ではなく「コンロの右側にあるノブをまわしている」と書く。それだけで、Fine-Tuningなしに精度が上がりました。

人混みで「田中さんを探して」と言うより「赤い帽子の田中さんが右側にいる」と言うほうが早く見つかるのと同じで、モデルの注目（TransformerのAttention）を誘導している感覚です。

6. これから

これから行いたいことは、二つあります。一つ目は、ラベルつきのデータを作って、ベンチマークすることです。まずは正しくモデルの精度を評価しなければ何も始まりません。次に正しいモデルを選定し、精度を上げて遅延をなくすことです。例えばFTを行うこと、モデルの推論時の最適化を行うことでできる可能性があります。

こちらにソースコードがあります。気になる方は見てみてください。

https://github.com/shure-dev/small-vlm-sop-check

実験を始めたばかりなので、もしおすすめのデータセットやAIのモデルがある方はリプライなどで教えていただけると助かります。

今回は導入編でした。次回は技術編も書いていけたら良いかなと思います。「tIoUとは、VTGとは、VLMに動画を入れるとは、M-RoPE(Multimodal RoPE) 、VLMのFT方法、メモリ、推論速度を上げるための工夫」などについて書ければと思います。

今回使用しているVLMモデルの開発元の公式から反応をもらっております。

エンジニアを募集しています

ここまで読んでいただきありがとうございました。

Algomatic では、「AI時代の企業OSを作る」をミッションに、変化の速い領域でも 学びや試行錯誤を続けられる エンジニアを募集しています。

もし少しでもご興味をお持ちいただけましたら、カジュアル面談に足を運んでいただけるとうれしいです。

recruiting.algomatic.jp