Eye tracking utilisé pour comparer les stratégies de lecture tactile et visuelle

Des chercheurs néerlandais ont utilisé les Tobii Pro Glasses et un système de Motion Capture à infrarouge pour comprendre les stratégies de lecture des élèves voyants et braillistes lors de la lecture d'expressions algébriques.

Contexte

Les limitations des systèmes de notation actuels et des logiciels disponibles font qu'il est difficile pour les étudiants braille-dépendants de participer aux études mathématiques. Par conséquent, les étudiants braille-dépendants entrent rarement dans les filières scientifiques de l'enseignement secondaire supérieur ou y progressent. L'objectif de cette recherche était de comprendre comment les étudiants voyants et braille-dépendants lisent et comprennent les expressions algébriques afin d'identifier les moyens de mieux aider les étudiants braille-dépendants à manipuler les expressions mathématiques. La compréhension des stratégies de lecture tactile et visuelle permettra de concevoir des lignes directrices pour aider les étudiants braillistes et leurs enseignants.

Ce projet est le fruit d'une collaboration unique entre trois instituts néerlandais : le Royal Dutch Visio à Huizen, l'Institut Freudenthal pour l'enseignement des sciences et des mathématiques à l'université d'Utrecht et le département de neurosciences du centre médical de l'université Erasmus de Rotterdam. Les travaux ont été menés par Annemiek van Leendert, Michiel Doorman, Paul Drijvers, Johan Pel et Hans van der Steen dans le cadre du programme de recherche "Improving the Mathematical Abilities of Braille-dependent Students" (Améliorer les capacités mathématiques des élèves dépendant du braille). Cette étude a été financée par l'Organisation néerlandaise pour la recherche scientifique (NWO).

Méthode

Six étudiants voyants ont participé à l'étude d'eye tracking. Leurs mouvements oculaires ont été enregistrés à l'aide des Tobii Pro Glasses, en combinaison avec un ordinateur portable et une caméra vidéo, et enregistrés à 50 Hz. À l'école royale néerlandaise Visio pour les malvoyants, trois élèves dépendant du braille ont participé à une étude de suivi des doigts. Les mouvements de leurs doigts ont été enregistrés à l'aide d'un ordinateur portable équipé d'un écran braille rafraîchissable, d'un système de Motion Capture à infrarouge (Vicon, Oxford, Royaume-Uni) et d'une caméra vidéo. Les mouvements spécifiques de la main et de l'index ont été enregistrés à l'aide de quatre marqueurs réfléchissants placés sur la main de chaque élève. Un logiciel de suivi des mouvements a été utilisé pour enregistrer (à un taux d'échantillonnage de 200 Hz) ces mouvements et analyser les trajectoires de chaque marqueur séparément. La caméra vidéo a enregistré toutes les manipulations, les instructions et les réponses verbales. À l'aide d'instructions verbales données avant le début de la tâche, les élèves ont tous résolu les mêmes expressions avec une ou deux variables (substitutions). Les élèves voyants ont lu l'expression à partir d'une diapositive PowerPoint. Les élèves braille-dépendants ont lu l'expression à l'aide de l'affichage braille d'un document Word.

Les informations suivantes ont été collectées : mouvement des yeux, Eye tracking, ainsi que des données audio et vidéo. Les données collectées ont été analysées à l'aide d'un logiciel Matlab auto-écrit.

Résultats

Les modèles de regard ont permis aux chercheurs de quantifier les stratégies de lecture et de résolution d'équations, en termes de temps d'exploration, de nombre de (re)fixations et de passage entre les caractères locaux et globaux.

Ce graphique montre une impression de la structure du regard d'un élève voyant. Une première exploration des données relatives au regard révèle que l'élève commence à explorer l'équation pendant environ sept secondes. Il calcule "3 + 2", puis "1 - 5". Enfin, l'équation est résolue correctement en calculant "-4 + 4 = 0".

Ce graphique montre les mouvements des index sur les cellules de l'afficheur braille (le doigt gauche est représenté en vert clair). Dans la phase d'exploration, les deux index sont actifs. Pendant les premières secondes, l'index gauche balaie d'abord "4 +" et, après trois secondes, commence à explorer le reste de l'expression. Avant de commencer à parler, le sujet recommence et prononce les mots "quatre plus" après environ 13 secondes. Dans les 20 secondes suivantes, il continue à résoudre l'expression correctement.

Conclusion

Les modèles de regard obtenus avec les Pro Glasses de Tobii ont permis aux chercheurs de quantifier les stratégies de lecture et de résolution et ont permis de comparer les résultats avec les stratégies tactiles des élèves dépendant du braille. Les résultats obtenus seront utilisés pour concevoir des lignes directrices visant à mieux soutenir les étudiants braillistes et leurs enseignants.