アイトラッキングで触覚と視覚による読解方法を比較

目の見える生徒と、視覚障害があり点字に依存している生徒の代数式の読解方法の違いを、Tobii Pro グラスとモーションキャプチャーで明らかにした、オランダでの研究事例を紹介します。

背景

現在の表記の仕方やソフトウェアの限界があるため、点字を使っている生徒にとって数学の勉強には困難が伴い、高等教育の理系コースに進学したり、進級したりすることはほとんどないのが現状です。本研究は、目が見える生徒と点字に依存している生徒の双方がどのように代数式を解くかを理解することで、数式への理解を深めるためのサポート方法を明らかにすることを目的としています。触覚と視覚による読解方法の違いについての知見を得ることは、点字に依存している生徒とその教師を支援するためのガイドラインを設計するのに役立つと考えています。

このプロジェクトは、オランダの3つの研究所（視覚障害者の専門知識センターであるRoyal Dutch Visio、 ユトレヒト大学の理数研究所であるFreudenthal Institute、エラスムス大学ロッテルダム医療センター神経科学部）が共同で実施しました。本研究は、研究プログラム "Improving the Mathematical Abilities of Braille-dependent Students" の一環として、Annemiek van Leendert, Michiel Doorman, Paul Drijvers, Johan Pel, Hans van der Steenが主導しました。この研究は、オランダ科学研究機構（NWO）の資金援助を受けて行われました。

方法

目の見える生徒6名にアイトラッキング調査に参加してもらい、Tobii Pro グラス（50Hz）を使用して、彼らの眼球運動を記録しました。オランダ王立視覚障害者学校では、点字に依存している生徒3名3力してもらい、リフレッシュ可能な点字ディスプレイを備えたノートパソコン、赤外線モーションキャプチャーシステム（Vicon）、ビデオカメラを組み合わせて、指の動きのパターンを記録しました。生徒の手に装着した4つの反射マーカーで、手と人差し指の細かな動きを計測しています。ビデオカメラには、すべての操作、指示、言語による応答が記録されています。課題開始前に口頭で指示された内容をもとに、全員が1つまたは2つの変数（代入）を使って同じ式を解きました。目の見える生徒は、パワーポイントのスライドから式を読み取り、点字に依存している生徒は、Word文書から点字ディスプレイを使用して式を解きました。

今回の調査では、音声と映像とともに、目の動き、指の動きを取得しました。取得したデータは、自作のMatlabソフトウェアを使って分析されました。

結果

視線パターンにより、探索時間、停留及び再停留の回数、ローカル文字と世界中で使用されている文字の切り替えに関して、方程式の読み解き方を定量化することができました。

このグラフは、目の見える生徒の視線パターンを示しています。視線データを見てみると、生徒は最初の約7秒間、方程式の全容の把握を始めていることがわかります。生徒は先に「3 + 2」を計算し、次に「1 - 5」を計算する。最後に「-4 + 4 = 0」を計算して、方程式を正しく解いています。

このグラフは、点字ディスプレイのセル上の人差し指の動きを示しています（薄緑色は左指）。探索段階では、両方の人差し指がアクティブになっています。最初の数秒間は、左手の人差し指が「4 +」に触れ、その3秒後、残りの式を調べ始めました。そして約13秒後に「4 +」という言葉を発しました。次の20秒で、式を正しく解き始めました。

結論

Tobii Pro グラス で得られた視線パターンにより、研究者は読解・解答方法を定量化することができ、その結果を点字に依存する生徒の触覚による読解方法と比較することが可能となりました。得られた知見は、生徒とその教師をより良くサポートするためのガイドラインを設計するために使用されます。