空中に書いた指文字を入力できるスマートウォッチ　中国の研究チームが開発：Innovative Tech [ひよこ★]

https://www.itmedia.co.jp/news/articles/2202/16/news052.html
2022年02月16日 08時00分 公開
[山下裕毅，ITmedia]

Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の浙江大学の研究チームが開発した「AirText: One-Handed Text Entry in the Air for COTS Smartwatches」は、表面を必要とせず、空中で指（人差し指）を動かして文字が書けるスマートウォッチだ。

　手首に装着したスマートウォッチに内蔵する加速度センサーやジャイロスコープなどから得られるIMU測定値のみを入力として、空中に指先で書いたテキストを深層学習を用いたフレームワークで推定する。

　これまでにも手首に装着したデバイスで手を検出する研究は行われてきた。手首を指で書く文字に対して同じ軌跡で動かす状況であれば検出できたが、手首と指の動きが違う状況で指先の動きを正確に捉えることは難しく、課題であった。

https://image.itmedia.co.jp/news/articles/2202/16/tm1636144_sl0216_1_w490.png
（左）手首と指先が同じ軌跡で動いている状態、（右）手首と指先が異なる動きをしている状態

　研究では、手首と指の動きが違う状況でも、スマートウォッチからのIMU測定値のみを入力に、深層学習を用いて指先の追跡と文字を分類する手法を提案する。この手法は、前処理と指先の軌跡を推定するネットワーク、文字を分類するネットワークの3段階で構成する。

　1段階目の前処理では、ユーザーが文字を手書きしている場合とそうでない場合では加速度の分散値が大きく異なることを利用し、手書きをした時のみを抽出する。2段階目では、前処理後のIMUデータから指先の軌跡を推定するために深層学習モデルを用いて、人差し指、第二中手指節関節、手首の3つのトラッキングポイントの3次元位置を出力する。

　前の文字から現在の文字への余分なストロークの干渉を除去するためのアルゴリズムを組み込んでいる。3段階目は、推定した指先の軌跡と前処理したIMUデータを入力に、別の深層学習モデルによって文字を分類する。

https://image.itmedia.co.jp/news/articles/2202/16/tm1636144_sl0216_2_w490.png
深層学習モデルの出力は、人差し指の指先、第二中手指節、手首の位置

　1文字ずつ分類するため、単語や文章を入力する場合、時間がかかってしまう。そこで、分類した文字から推測できるいくつかの単語候補をユーザーに提示する方法を採用する。スマートウォッチの画面に4つの単語が上下左右に表示され、ユーザーはこれら単語候補から手首を軽く捻る動作で操作し選択する。

https://image.itmedia.co.jp/news/articles/2202/16/tm1636144_sl0216_3_w490.png
スマートウォッチ画面の上下左右に4つの単語候補が提示し、ユーザーは小さく傾けるジェスチャーで正しい単語を選択する

　実験では、市販のスマートウォッチ5つ（LG Watch UrbaneやHuawei Watch2Proなど）に実装し、その性能を広範囲に評価した。評価には8人の被験者が参加し、2万5000以上の文字を空中で手書きした。その結果、1分当たり8.1ワードの平均タイピング速度を達成し、平均ワードエラー率は3.6％から11.2％の範囲だった。2つのベースラインを上回り、両手を使ったアプローチと同等の高い精度の文字入力速度を実現した。

　制限として、個々の文字をつづる間に短い一時停止を行う必要があることと、歩行中などの体が動いている状態ではノイズが大きく精度が悪くなるため、あくまで体が静止している状態での使用であることが挙げられる。

Source and Image Credits: Y. Gao, S. Zeng, J. Zhao, W. Liu and W. Dong, “AirText: One-Handed Text Entry in the Air for COTS Smartwatches,” in IEEE Transactions on Mobile Computing, doi: 10.1109/TMC.2021.3130036.

オリオンをなぞる