ジェスチャー認識を活用したインターフェース

「新ノーマライゼーション」2025年5月号

国立障害者リハビリテーションセンター研究所自立支援ロボット技術等研究室長
中山剛（なかやまつよし）

国立障害者リハビリテーションセンター研究所情報アクセス機器研究室長
伊藤和幸（いとうかずゆき）

国立障害者リハビリテーションセンター（以降は国リハと記載）ではシーティング・クリニックという専門外来があり、医師、理学療法士、リハ工学士、義肢装具士などセンター全部門のさまざまな職種が連携して、「座位保持装置、電動車椅子、手動車椅子の製作に向けた相談と適合確認」「電動車椅子の操作練習」「褥瘡予防を目的とした体圧計測と日常生活のリスクチェック、今後の生活に向けた地域支援員との連携」「コミュニケーション機器の導入や使用状況改善に向けた相談、支援」「パソコン学習環境の改善を目的とした福祉機器の紹介」などのサービスを提供しています^1）。筆者らは同外来に長年携わっていますが、コミュニケーション機器の導入やパソコン操作に必要となるスイッチ等のインターフェースの適合がなかなかうまくいかない場面に直面することもありました。

さて、国リハ（当時は国立身体障害者リハビリテーションセンター）と国立研究機構産業技術総合研究所（以降は産総研と記載）は共同して「障害者の安全で快適な生活の支援技術の開発」プロジェクトを実施しました（平成16～18年度）。同プロジェクトでは、障害者の社会参画のためのさまざまなプロジェクトが実施され、そのうちの一つとして不随意運動を伴う脳性麻痺者が頭部のジェスチャー（意図的な動作）で電動車椅子を操作するプロジェクトがありました。同プロジェクト終了後、筆者がジェスチャー認識を専門とする依田育士氏（産総研）に対して、重度運動機能障害者のコミュニケーション機器やパソコン操作のためのジェスチャーを活用したインターフェースの相談をしたのがきっかけとなりました。

前出の共同プロジェクトの時代には安価な距離画像カメラ（3次元カメラ）は一般に普及しておらず、特注の高価な距離画像カメラを研究に用いていました。また、パソコンもさらに広く家庭に普及してきており、かなりの機能を有したパソコンでもお手軽な価格で手に入るようになってきていました。そのうち市場に普及するであろう安価な距離画像カメラとパソコンをジェスチャー認識インターフェースのハードウェアに用いることを計画しました。本インターフェースを構成する距離画像カメラとパソコンは市販品を用いて、本インターフェースのアプリケーション（ソフトウェア）を研究開発すれば、スイッチ入力等で困っている運動機能障害者や関係者の一助となるのではと計画したのがスタートでした。国リハが主に運動機能障害者とインターフェースの適合と評価を担当し、産総研がアプリケーション作成を担当しました。

まず、距離画像カメラを利用して、脳性麻痺者、筋ジストロフィー患者、筋萎縮性側索硬化症（ALS）患者、頚髄損傷者など80名以上のさまざまな重度運動機能障害者にご協力をいただいて随意運動が可能な合計1,745身体部位のジェスチャーを撮影させていただきました。そして、撮影したさまざまな身体部位のジェスチャーを身体部位とその動きによって分類しました。具体的には手・腕の3種類のジェスチャー（指の折り曲げ、手の動き、上腕の動き）、頭部の3種類のジェスチャー（頭部全体の動き、口の動き、目の動き）、足ならびに脚の3種類のジェスチャー（膝の動き、足踏み、足の指の動き）、肩の1種類のジェスチャー（肩の上下や肩の前後の動き）に分類し、それ以外のジェスチャーを未分類としました。

次に分類した身体部位ならびにジェスチャーを類型化し、その種別に対応した7種類のジェスチャー認識アプリケーション（頭部、眼、口・舌、肩、指、膝、足）を開発しました。さらに重度運動機能障害者と医療福祉専門職からの要望に応じて、距離画像カメラに一番近い身体部位のジェスチャーを認識するアプリケーションと微細なジェスチャーを認識するアプリケーションの身体部位に依存しない2種類のアプリケーションも開発しました。

距離画像カメラを用いることで非接触（スイッチを触らなくてよい）、非拘束な（センサを身に付けない）インターフェースを実現しています。また、学習アルゴリズムを用いることで不随意運動を伴う運動機能障害者のジェスチャーの認識率を上げる工夫をしています。さらに進行性の神経・筋疾患の方の症状の進行による身体状態の変化にもソフトウェア側で柔軟に対応できるよう工夫しています。さらに複数のジェスチャーを同時に認識することができるので必要な操作が増えた場合でも対応可能であるという長所もあります。

ジェスチャー認識のためのアプリケーションは2025年4月現在、無償で利用可能です。ただし、アプリケーションのダウンロード時にはユーザー登録と使用許諾契約が必要となります。本インターフェースを利用する際には、パソコンと市販の距離画像カメラを用意していただいて、アプリケーションをダウンロードしてパソコンにインストールすれば、パソコン操作（キー入力やマウスクリック等）が可能となります。学習型の赤外線リモコンによる家電品の制御、リレーを経由したスイッチ入力、ゲームの操作等に応用できます（リモコン等の外部制御には別途の装置が必要となります）。パソコンの要求仕様やカメラの種類などの詳細についてはホームページをご参照ください^2）。

本インターフェースはすでに何名かの重度運動機能障害者の自宅や病室等に設置され、実生活においてパソコンを使った文章の入力やゲーム操作などに利用されています。図2は足でペダルを踏むようなジェスチャーで重度運動機能障害者がパソコンを使って文章の入力をしている写真です。右足で文字を選んで、左足で決定し、その認識結果を市販のパソコンの操作支援ソフトウェアに入力することで文字入力を実現しています。
※掲載者注：写真の著作権等の関係で図2はウェブには掲載しておりません。

なお、現在は内閣府の戦略的イノベーション創造プログラム（SIP）「ポストコロナ時代の学び方・働き方を実現するプラットフォームの構築」（研究推進法人：（国研）科学技術振興機構（JST））、研究開発テーマ名「重度障害者のインタフェース革新による地域教育就労モデルの構築（研究代表者：依田育士氏）」というプロジェクトにて、産総研、（国研）国立精神・神経医療研究センター病院、東海大学、京都産業大学、特別支援学校、（一社）東京都作業療法士会等とも協力して本インターフェースの普及と社会実装に関する研究を行っています。

【参考文献】

1）国立障害者リハビリテーションセンターシーティング・クリニック
<http://www.rehab.go.jp/hospital/department/consultation/senmon/seating/>

2）重度運動機能障害者支援のためのジェスチャインタフェースの研究開発
<http://gesture-interface.jp/>