眼球運動を活用したスイッチ入力システム

「新ノーマライゼーション」2025年5月号

国立障害者リハビリテーションセンター研究所情報アクセス機器研究室長
伊藤和幸（いとうかずゆき）

１. はじめに

筋萎縮性側索硬化症（ALS）等の神経難病者は発症すると筋力が低下し、ナースコールや意思伝達装置を操作するためのスイッチ操作が困難になります。軽微な力で操作できる押しボタン式スイッチや圧電素子等を利用したセンサー式スイッチを選択していきますが、これらを使用することも難しくなります。そのような場合でも眼球運動は比較的残りやすい運動機能であるため、「はい」「いいえ」の意思を表示するために決まった方向に眼を動かして単純な意思の伝達手段にすることがあります。介護者が常時ベッドサイドに付き添っていれば意思をくみ取ることはできますが現実的ではありません。そこで、眼の動きや長めに閉眼する動作を自動的に検出することでスイッチ操作に結びつけるシステムを開発します。眼の動きによりスイッチ操作が可能となるため、ナースコールのように呼び出しを行うだけでなく、機器に搭載されているアクセシビリティ機能を活用することでスマートフォンのような汎用製品の操作も可能になります。

２. 眼の動きを検出する技術

九州工業大学の齊藤研究室では、深層学習を用いた画像処理技術により、撮影されている眼の画像内の瞳孔中心点を高精度に検出できるシステムを開発しています。画像処理では、眼鏡に取り付けた小型カメラで撮影される眼の画像を入力として、図1のようにまず大まかな眼の輪郭を検出して、特徴点に基づく目尻の角度を利用して眼が開いているか閉じているかを判定します。眼鏡の影響などで輪郭が正確に検出できない場合には分類モデルにより判定します。次いで、眼が開いていると判定された画像に対して、回帰モデルを用いることで画像内の瞳孔中心点を出力することができます。図1内で4つの直線が交わっている箇所が瞳孔中心点です。眼鏡を装着する必要はありますが、眼鏡に小型カメラを装着することでカメラと眼の相対位置が変わらないため、利用者の頭部の動きに影響されずに安定して眼の画像を撮影することができます。この技術を眼の向いている方向の検出に応用し、特定の方向に動いた時にスイッチ操作へと結びつけるシステムとします。
※掲載者注：写真の著作権等の関係で図1はウェブには掲載しておりません。

３. 眼の動きを検出してスイッチ操作につなげるシステム

齊藤研究室が開発しているシステムでは瞳孔中心点を検出して、その動きをリアルタイムに計測することができます。そこで、ある時点での瞳孔中心点を基準として、その位置からどの方向に、どの程度動いているかを求めることで、見ている方向を判断することにしています。例えば、図1のように正面を見ている時の瞳孔中心点を基準として上下左右のエリアを決め、瞳孔中心点が移動したエリアを「見ている方向」と判断します。そのうえで、瞳孔中心点が設定値（しきい値）以上に動いたらスイッチ出力を行うこととしています。図2では基準点から円弧までの距離がしきい値となっていて、瞳孔中心点が上エリアにあり、しきい値を超えているので上に該当するスイッチ出力を行います。左右のしきい値は割合大きく、左右に少し動かす程度ではしきい値を超えないのでスイッチ出力になりません。4方向のエリア範囲やしきい値は状況に合わせて適宜調整できます。利用者は目安となる目印を見て基準の位置とします。その後上下左右の各方向を見てもらい、スイッチ出力となる目印を決めておきます。介護者は瞳孔中心点の動く範囲を確認してエリア範囲やしきい値を調整していく、というやり方になります。ソフトウェアを作り込むことで斜め方向への動きや正面を見た方向から右10度、左20度等の動きも検出できますが、最低限の意思表出のためには、上下左右方向への大まかな動きが検出できてスイッチ出力できればよいものとします。
※掲載者注：写真の著作権等の関係で図1、図2はウェブには掲載しておりません。

システムでは眼の開閉もリアルタイムに判定しているので、瞬きのような眼を瞬間的に閉じる動きは除外して、長めに眼を閉じている動作をスイッチ操作として利用することができます。下方向を見た時の瞳孔中心点と眼を閉じかけた時の瞳孔中心点が混在するため、実用的には下方向への眼の動きは利用せず、上、左、右方向への動きと長めの閉眼をスイッチ操作につなげることが有効であると考えています。

これまでのスイッチ適合の経験から、出力の方法は、眼を動かして、1）しきい値を設定時間以上超えたら1回出力する、2）しきい値を超えたら直ぐに1回出力する、3）しきい値を超えている間は一定間隔で連続的に出力する、4）しきい値を超えている時間により短い出力と長押しの出力を行う、という4つのモードを準備しています。

図3にシステム全体を示します。現在では図の右側にある汎用のノートパソコンや、さらに小型の7インチ型ゲーム向けのパソコンでも起動するように開発が進んでいて、ベッドサイドでもコンパクトに使用することができます。パソコンの他に4つのスイッチ出力を行うためのリレー制御器とテンキー、小型カメラが必要となります。万博では小型カメラを図4のようなヘッドセットタイプにしていて、操作を体験していただきます。
※掲載者注：写真の著作権等の関係で図3、図4はウェブには掲載しておりません。

４. 臨床での評価と今後の展望

システムで使用しているカメラは近赤外線LEDと近赤外線カメラを使用しているので、明かりのない夜間でも使用できます。また、装着タイプにしていることでカメラの位置合わせの手間を省くことができるという利点が臨床評価を通して明らかになりました。いざ使う際にカメラの位置合わせが面倒だと介護者の手間が増え、使用されなくなることが多々あります。装着タイプだとカメラを大まかな位置に合わせておけば次回は微調整するだけで眼の撮影ができ、スムーズに使用できることもわかってきました。症状が進んだALS患者に使用していただいた臨床評価例では、夜間や明け方の呼び出し装置として使う例がありました。眼の動きを客観的に示すことができるので、視線の動きを読み取る介護者の技量によらずに眼の動きを判断できることも利点として挙げられました。今後ですが、臨床評価を継続してシステムに不足する点を検討していく予定です。また、利用者には眼鏡をかけている方もいます。レンズへのLED光源の映り込みや映像の歪み等が瞳孔中心点の検出にどの程度影響するかを確認することや、小型カメラは視線検出専用のものを使用していますが普及に向けて安価なカメラでも代用できるかどうかを確認すること等の課題があります。