Mesurer la charge cognitive dans la RV - le pouvoir des trois

Pour ce reportage sur l'innovation, je me suis entretenue avec Julia Kern, directrice des partenariats stratégiques chez Soma Reality, une start-up autrichienne qui développe des connaissances neuropsychologiques pour les environnements numériques.

J'ai rencontré Kern à la fin de l'année 2022, à l'époque où ChatGPT et d'autres robots d'IA générative faisaient la une des journaux. Quelques mois plus tard, lors de la sortie de GPT-4 en début d'année, j'ai été frappé par les changements considérables que ce modèle de langage multimodal apportera à notre façon de travailler, d'apprendre et de vivre. La façon dont le GPT-4 "présente des performances de niveau humain sur divers critères professionnels et académiques" m'a amené (et je suis sûr que je ne suis pas le seul dans ce cas) à réfléchir sur la façon dont nous comprenons les capacités cognitives humaines et sur la rapidité avec laquelle nous pouvons améliorer notre efficacité et notre efficience en matière d'apprentissage.

Lorsque j'ai discuté avec Kern, elle a parlé de l'intérêt croissant pour la charge cognitive, de leur premier biomarqueur numérique basé sur l'eye tracking, et de la façon dont son entreprise a tiré parti de cette tendance. Dans ce billet, je partagerai les idées de Kern sur la mesure de la charge cognitive dans la RV, comment l'éducation et la Santé peuvent en bénéficier, et comment la puissance des trois - savoir-faire, RV et Eye tracking - a permis à Soma de construire une solution robuste pour le calcul d'informations neurologiques pour n'importe qui, n'importe où.

Intérêt croissant pour la charge cognitive

Si vous demandez à ChatGPT une définition de la charge cognitive, il vous répondra ce qui suit :

"La charge cognitive fait référence à la quantité d'efforts ou de ressources mentales qui sont nécessaires pour traiter l'information dans la mémoire de travail. Il s'agit d'une mesure de la quantité d'informations qu'une personne peut traiter efficacement et conserver dans sa mémoire tout en accomplissant une tâche ou en résolvant un problème".

La communauté scientifique est désireuse de mieux comprendre la charge cognitive en raison de ses nombreuses applications, notamment dans des domaines tels que l'apprentissage, la conception d'interfaces et les soins de santé. La sensibilisation du public est également un facteur. Les maladies neurodégénératives sont de plus en plus répandues à mesure que les populations vieillissent, affectant la vie de la plupart des gens. Les gouvernements et les organisations consacrent des fonds à la recherche sur la longévité et la cognition, ce qui permet à l'industrie technologique de mettre au point des solutions innovantes de détection précoce et de traitement. Cependant, toute solution - manuelle ou informatisée - visant à fournir des informations sur les capacités d'apprentissage d'une personne ou sur sa santé et son bien-être nécessite des données fiables et des recherches bien établies pour garantir des résultats positifs.

Mesurer la charge cognitive dans la RV - le savoir-faire

Kern explique la recherche sur la réponse pupillaire provoquée par la tâche , qui montre la relation linéaire entre la taille de la pupille et la demande de processus cognitifs. Lorsque la demande augmente, nos yeux réagissent par de minuscules fluctuations involontaires de la pupille - une réponse que nous ne pouvons pas contrôler. Elle note que notre incapacité à influencer ces mouvements fait de la taille de la pupille un biomarqueur fiable et quantifiable de la charge cognitive.

L'exposition à la lumière entraîne également des modifications de la taille de la pupille, connues sous le nom de réflexe pupillaire à la lumière (RPL), qui devient plus petite dans les situations lumineuses et plus grande dans les situations sombres. Ainsi, pour mesurer avec précision la charge cognitive dans un environnement de RV, Kern explique la nécessité de séparer l'impact neurologique des effets induits par la lumière sur la taille de la pupille, que l'on peut calculer à partir de la luminance de l'écran de RV.

La RV

En tant que méthode d'enseignement, la RV apporte plusieurs éléments à la table. Son environnement fermé contribue à éliminer les influences extérieures, de sorte que vous pouvez l'utiliser pour évaluer la charge cognitive, en sachant que ce que vous mesurez est bien la charge cognitive et non une réaction à d'autres personnes, événements ou objets. Et bien que son facteur de mobilité apporte des capacités de test au point de besoin, je pense que le sens du réalisme et de la présence qui donne à la RV un avantage par rapport à l'informatique traditionnelle. La RV place les personnes dans des environnements aussi proches de la réalité que possible, ce qui signifie que toute évaluation de la charge cognitive qui en résulte sera aussi précise que possible sur le plan technique. La RV vous permet de préparer les gens à des expériences stressantes qu'ils pourraient rencontrer dans la carrière qu'ils ont choisie, par exemple. Alors que l'eye tracking peut fournir les données nécessaires au calcul de la charge cognitive sur d'autres plateformes, la RV peut fournir des informations sensorielles utiles, telles que le mouvement, le rythme cardiaque et la réaction de la peau, sans matériel ni capteurs supplémentaires.

Bien que Soma Reality ait conçu son algorithme de charge cognitive exclusif de manière à ce qu'il soit indépendant du matériel, en termes pratiques, le besoin de signaux de suivi oculaire avancés a conduit Soma à développer avec le casque Pico Neo 3 Pro Eye - une plateforme qui est devenue populaire parmi les développeurs en raison de sa mobilité sans attache, de ses capacités de traitement, du suivi oculaire intégré de Tobii et de son rapport qualité/prix avantageux.

Pourquoi un partenariat avec Tobii et pourquoi Tobii Ocumen - l'eye tracking

À la question de savoir pourquoi ils ont choisi Tobii, M. Kern a répondu :

Pour évaluer la charge cognitive, l'algorithme de Soma exploite les mesures en temps réel du diamètre de la pupille fournies par Tobii Ocumen. Selon Kern, la robustesse et la granularité des données fournies par Tobii Ocumen, associées à la mobilité et aux capacités de traitement du casque Pico Neo 3 Pro Eye VR, constituent une puissante combinaison.

Peut-être envisagez-vous de développer avec Tobii Ocumen et voulez-vous savoir à quel type de données vous pouvez vous attendre. Dans ce cas, je peux vous dire qu'en plus des données standard d'Eye tracking comme le vecteur du regard et l'origine, nous avons conçu Tobii Ocumen pour fournir des mesures avancées comme le diamètre de la pupille et le regard - séparées pour chaque œil. Nous nous sommes efforcés de rendre le produit facile à utiliser en incorporant des fonctionnalités telles qu'une bibliothèque de filtres et des fonctions d'enregistrement et de relecture des données. En mesurant les bons biomarqueurs et en le faisant avec précision, nous tirons le meilleur parti de notre expertise et permettons aux développeurs de solutions de tirer le meilleur parti de leur savoir-faire.

Ce qui m'amène à mon point suivant : que peut-on faire avec le puissant trio que constituent le savoir-faire, la RV et l'Eye tracking ?

Apprentissage et formation professionnelle

Selon M. Kern, le taux de rétention des nouvelles compétences acquises dans un environnement de RV peut être jusqu'à quatre fois supérieur à celui d'un environnement traditionnel. L'algorithme de charge cognitive de Soma permet d'adapter les scénarios d'apprentissage de la RV au comportement de l'utilisateur, en optimisant l'apprentissage pour qu'il ait lieu lorsque l'étudiant est dans un état d'apprentissage idéal. Les applications d'apprentissage peuvent exploiter l'algo pour, par exemple, empêcher les étudiants de s'ennuyer ou d'être surchargés en fournissant un retour d'information sur l'état cognitif de l'étudiant, qu'un instructeur (ou l'application) peut utiliser pour ajuster le contenu en conséquence.

Santé et bien-être

La charge cognitive étant un indicateur de l'activité cérébrale, il est possible d'utiliser la technologie de Soma dans diverses Applications, telles que la thérapie personnalisée, les essais cliniques à distance et la détection précoce des maladies neurodégénératives. J'espère que cette solution arrivera rapidement à maturité et qu'elle permettra de retarder l'apparition de maladies comme la maladie d'Alzheimer et de soulager des millions de personnes et leurs familles.

Vitrine des jeux

Soma a développé deux mini-jeux - Flying Colors et Soma Math - pour montrer comment l'évaluation de la charge cognitive fonctionne dans la RV. Comparé à Train of Thought, un jeu similaire de Lumosity auquel j'avais l'habitude de jouer sur mon téléphone portable, j'ai l'impression que Flying Colors offre un tableau visuel plus complet affichant la charge cognitive à différents niveaux. Ce tableau peut être comparé à d'autres jeux qui entraînent différents aspects de la capacité cognitive, ce qui permet une compréhension plus nuancée de la capacité cognitive.

Ce que j'en retiens, c'est le pouvoir des trois

En discutant, je me suis rendu compte à quel point la technologie peut être complexe, mais lorsque nous séparons les expertises - avec Tobii qui se concentre sur l'eye tracking et fournit des données robustes pour tout le monde, les équipementiers qui fournissent une plateforme de calcul puissante qui favorise la commodité et des mesures réalistes, et Soma qui tire parti de sa connaissance des processus cognitifs - nous permettons la création de solutions innovantes qui changent la vie d'un grand nombre de personnes.

Kern a également fait part de ses projets visant à renforcer les applications numériques de nouvelle génération en les rendant conscientes et adaptatives. Leur feuille de route comprend des expériences visant à mesurer la fonction cognitive et à développer des programmes de formation adaptatifs qui utilisent l'évaluation de la charge cognitive pour augmenter l'engagement et la rétention. À la suite de son algorithme initial de charge cognitive, Soma a l'intention d'élargir son portefeuille de biomarqueurs numériques pour couvrir l'attention et d'autres processus cognitifs. J'attends avec impatience les résultats de ces projets et expériences et je tiens à remercier Julia d'avoir pris le temps de discuter de ce sujet fascinant.

Si vous souhaitez en savoir plus sur la solution de Soma Reality , utilisez le lien figurant dans sa biographie pour prendre contact avec elle.