瞳に映るスマホ画面から指の位置を検出するタッチレス操作技術「ReflecTrace」

こんにちは。LINEヤフー研究所でHuman-Computer Interaction（HCI）の研究をしている池松です。皆さんはスマートフォン（以下、スマホ）でレシピを見ながら調理しているとき、画面に指が触れてしまい、スクロールが止まったり、誤って別のページに移動してしまった経験はありませんか？ そんな不便を解消するために、私たちはスマホの画面に触れずに操作できる新技術「ReflecTrace」を開発しました。この技術は、スマホの前面カメラでユーザーの瞳を撮影し、瞳に映ったスマホ画面の反射像を解析することで、指が画面のどの位置にあるかを推定します。 ReflecTraceの仕組みは次の通りです。まず、前面カメラが瞳を撮影します。瞳にはスマホ画面が反射して映っています。次に、画像処理アルゴリズムを用いて、この反射像の中からスマホ画面の領域と、その上に重なっている指の影や形を検出します。最後に、検出した情報から、指が画面のどの座標（X, Y位置）に存在するかを計算します。 この技術の利点は、追加のハードウェアが不要なことです。既存のスマホの前面カメラだけで実現できます。また、ユーザーが画面から指を離した状態（ホバリング状態）でも指の位置を追跡できるため、調理中など手が汚れている場合や、画面を汚したくない場合に特に有用です。 現在、ReflecTraceは研究段階ですが、将来的には料理アプリや医療現場でのハンズフリー操作、AR（Augmented Reality）アプリケーションでの直感的なインタラクションなど、様々な場面での応用が期待されています。 私たちは、技術が人々の生活をより便利で豊かにすることを信じて研究を続けています。ReflecTraceが、皆さんがスマホを使う日常のささいな「わずらわしさ」を解消する一助となれば幸いです。

瞳に映るスマホ画面から指の位置を検出するタッチレス操作技術「ReflecTrace」

背景や根拠まで確認しますか？

調べる

選ぶ

サイト