Scale Labs、ロボットデータ品質管理の測定手法を動画レビューから構築

記事の3ポイント

1. 1

   単純な判定の限界

   「動画が良いかどうか」をVLM（ビジョン言語モデル）に問うだけでは不十分であり、カメラの故障やタスクの中断など多様な失敗要因を区別する必要がある。

2. 2

   測定パイプラインの提案

   ルールを細分化し、各失敗タイプごとにキャリブレーションを行い、不確実なクリップにはモデルが判断した根拠となる視覚的証拠を添えて人間に送る方式が有効である。

3. 3

   データ分布の偏り

   実際のサンプルでは合格率が90%以上であり、単純な精度だけでモデルを評価すると重要な失敗事例を見逃すリスクがあるため、検出率と保存率のバランスが重要となる。