Messung der kognitiven Belastung in VR - die Macht der Drei

Für diese "Eye-for-Innovation"-Story sprach ich mit Julia Kern, Leiterin der Abteilung für strategische Partnerschaften bei Soma Reality - einem österreichischen Startup, das neuropsychologische Erkenntnisse für digitale Umgebungen entwickelt.

Ich habe Kern Ende 2022 kennengelernt, also genau zu der Zeit, als ChatGPT und andere generative KI-Bots die Schlagzeilen beherrschten. Ein paar Monate später, bei der Veröffentlichung von GPT-4 Anfang dieses Jahres, war ich beeindruckt von den umfassenden Veränderungen, die dieses multimodale Sprachmodell auf die Art und Weise haben wird, wie wir arbeiten, lernen und leben. Die Art und Weise, wie GPT-4 "bei verschiedenen beruflichen und akademischen Benchmarks Leistungen auf menschlichem Niveau zeigt", hat mich dazu veranlasst (und ich bin sicher, dass ich hier nicht allein bin), darüber nachzudenken, wie viel wir über die kognitiven Fähigkeiten des Menschen wissen und wie schnell wir unsere Lerneffizienz und -effektivität verbessern können.

Im Gespräch mit Kern sprach sie über das steigende Interesse an der kognitiven Belastung, ihren ersten digitalen Biomarker auf der Grundlage von Eye Tracking und darüber, wie ihr Unternehmen diesen Trend genutzt hat. In diesem Beitrag teile ich Kerns Erkenntnisse über die Messung der kognitiven Belastung in VR, wie Bildung und Gesundheitswesen davon profitieren können und wie die Macht der Drei - Know-how, VR und Eye Tracking - Soma in die Lage versetzt hat, eine robuste Lösung zur Berechnung neurologischer Erkenntnisse für jeden und überall zu entwickeln.

Steigendes Interesse an kognitiver Belastung

Wenn Sie ChatGPT nach einer Definition von kognitiver Belastung fragen, antwortet es mit der folgenden:

"Die kognitive Belastung bezieht sich auf den Umfang der geistigen Anstrengung oder der Ressourcen, die zur Verarbeitung von Informationen im Arbeitsgedächtnis erforderlich sind. Sie ist ein Maß dafür, wie viele Informationen eine Person effektiv verarbeiten und in ihrem Gedächtnis behalten kann, während sie eine Aufgabe erledigt oder ein Problem löst."

Die wissenschaftliche Gemeinschaft ist sehr daran interessiert, das Verständnis der kognitiven Belastung zu erweitern, da sie eine breite Anwendung findet, insbesondere in Bereichen wie Lernen, Schnittstellengestaltung und Gesundheitswesen. Auch das öffentliche Bewusstsein ist ein Faktor. Neurodegenerative Erkrankungen treten mit zunehmendem Alter der Bevölkerung immer häufiger auf und betreffen das Leben der meisten Menschen. Regierungen und Organisationen stellen Mittel für die Erforschung der Langlebigkeit und der kognitiven Fähigkeiten zur Verfügung, was der Technologiebranche die Möglichkeit gibt, innovative Lösungen für die Früherkennung und Behandlung zu entwickeln. Doch jede Lösung - ob manuell oder computergestützt -, die Erkenntnisse über die Lernfähigkeit oder die Gesundheit und das Wohlbefinden eines Menschen liefern soll, erfordert gute Daten und fundierte Forschung, um positive Ergebnisse zu erzielen.

Messung der kognitiven Belastung in VR - das Know-how

Kern erläutert die Forschung zur aufgabeninduzierten Pupillenreaktion , die die lineare Beziehung zwischen Pupillengröße und Anforderung kognitiver Prozesse zeigt. Wenn die Anforderungen steigen, reagieren unsere Augen mit winzigen unwillkürlichen Pupillenschwankungen - eine Reaktion, die wir nicht kontrollieren können. Sie stellt fest, dass unsere Unfähigkeit, diese Bewegungen zu beeinflussen, die Pupillengröße zu einem zuverlässigen und quantifizierbaren Biomarker für kognitive Belastung macht.

Lichtexposition führt auch zu Veränderungen der Pupillengröße, die als Pupillen-Licht-Reflex (PLR) bekannt sind - sie werden in hellen Szenarien kleiner und in dunklen Situationen größer. Um die kognitive Belastung in einer VR-Umgebung genau zu messen, erklärt Kern die Notwendigkeit, die neurologischen Auswirkungen von den lichtbedingten Effekten auf die Pupillengröße zu trennen, die man anhand der Leuchtdichte des VR-Displays berechnen kann.

Die VR

Die VR bietet als Vermittlungsmethode mehrere Vorteile. Ihre geschlossene Umgebung hilft, äußere Einflüsse auszuschalten, so dass Sie sie zur Bewertung der kognitiven Belastung verwenden können, in der Gewissheit, dass Sie tatsächlich CL messen und nicht eine Reaktion auf andere Menschen, Ereignisse oder Objekte. Und während der Mobilitätsfaktor die Testmöglichkeiten an den Punkt bringt, an dem sie benötigt werden, denke ich, dass der Sinn für Realismus und Präsenz der VR einen Vorteil gegenüber der traditionellen Datenverarbeitung gibt. VR versetzt Menschen in Umgebungen, die der Realität so nahe wie möglich kommen, was bedeutet, dass jede daraus resultierende Bewertung der kognitiven Belastung so genau wie technisch möglich sein wird. VR ermöglicht es Ihnen, Menschen auf stressige Erfahrungen vorzubereiten, denen sie beispielsweise in ihrer beruflichen Laufbahn begegnen könnten. Und während Eye Tracking die Daten zur Berechnung der kognitiven Belastung auf anderen Plattformen liefern kann, kann VR nützliche sensorische Informationen wie Bewegung, Herzfrequenz und Hautreaktion liefern - ohne zusätzliche Hardware oder Sensoren.

Soma Reality hat seinen proprietären Algorithmus zur kognitiven Auslastung zwar so konzipiert, dass er hardwareunabhängig ist, doch in der Praxis führte der Bedarf an fortschrittlichen Eye Tracking-Signalen dazu, dass Soma mit dem Pico Neo 3 Pro Eye-Headset entwickelt hat - einer Plattform, die aufgrund ihrer ungebundenen Mobilität, ihrer Verarbeitungsmöglichkeiten, des integrierten Eye Tracking von Tobii und ihres günstigen Preis-Leistungs-Verhältnisses bei den Entwicklern sehr beliebt geworden ist.

Warum eine Partnerschaft mit Tobii und warum Tobii Ocumen - das Eye Tracking

Auf die Frage, warum sie sich für Tobii entschieden haben, antwortete Kern:

Zur Bewertung der kognitiven Belastung nutzt der Soma-Algorithmus die von Tobii Ocumen gelieferten Echtzeitmessungen des Pupillendurchmessers. Kern sagt, dass die Robustheit und Granularität der Daten, die Tobii Ocumen liefert, zusammen mit der Mobilität und den Verarbeitungsmöglichkeiten des Pico Neo 3 Pro Eye VR-Headsets eine leistungsstarke Kombination darstellt.

Vielleicht ziehen Sie in Erwägung, mit Tobii Ocumen zu entwickeln und möchten wissen, welche Art von Daten Sie erwarten können. In diesem Fall kann ich Ihnen sagen, dass wir Tobii Ocumen so konzipiert haben, dass es neben den Standard Eye Tracking-Daten wie Blickvektor und -ursprung auch erweiterte Metriken wie Pupillendurchmesser und Blickrichtung - getrennt für jedes Auge - liefert. Wir haben daran gearbeitet, das Produkt benutzerfreundlich zu gestalten, indem wir Funktionen wie eine Filterbibliothek und Aufzeichnungs- und Wiederholungsfunktionen für Daten integriert haben. Indem wir die richtigen Biomarker genau messen, nutzen wir unser Fachwissen optimal und ermöglichen es Lösungsentwicklern, ihr Know-how optimal einzusetzen.

Das bringt mich zu meinem nächsten Punkt: Was kann man mit dem mächtigen Trio aus Know-how, VR und Eye Tracking anfangen?

Lern- und Kompetenztraining

Laut Kern kann die Behaltensrate für neue Fähigkeiten, die in einer VR-Umgebung erlernt werden, bis zu viermal höher sein als in einer traditionellen Umgebung. Der Soma-Algorithmus zur kognitiven Belastung bietet die Möglichkeit, VR-Lernszenarien an das Nutzerverhalten anzupassen und das Lernen zu optimieren, wenn sich der Schüler in einem idealen Lernzustand befindet. Anwendungen können den Algorithmus nutzen, um beispielsweise zu verhindern, dass sich die Schüler langweilen oder überfordert werden, indem sie Rückmeldungen über den kognitiven Zustand des Schülers geben, die der Lehrer (oder die Anwendung) nutzen kann, um den Inhalt entsprechend anzupassen.

Gesundheitswesen und Wohlbefinden

Da die kognitive Belastung ein Indikator für die Gehirnaktivität ist, kann die Technologie von Soma in verschiedenen Anwendungen eingesetzt werden, z. B. in der personalisierten Therapie, in klinischen Fernstudien und in der Früherkennung neurodegenerativer Krankheiten. Ich hoffe, dass ihre Lösung schnell reift und das Potenzial hat, den Ausbruch von Krankheiten wie Alzheimer zu verzögern und Millionen von Menschen und ihren Familien Erleichterung zu bringen.

Schaukasten für Spiele

Soma hat zwei Minispiele entwickelt - Flying Colors und Soma Math - um zu zeigen, wie die Bewertung der kognitiven Belastung in VR funktioniert. Im Vergleich zu Train of Thought, einem ähnlichen Spiel von Lumosity, das ich früher auf meinem Handy gespielt habe, habe ich das Gefühl, dass Flying Colors ein umfassenderes visuelles Diagramm bietet, das die kognitive Belastung auf verschiedenen Ebenen anzeigt. Dieses Diagramm kann mit anderen Spielen verglichen werden, die verschiedene Aspekte der kognitiven Fähigkeiten trainieren und so ein differenzierteres Verständnis der kognitiven Fähigkeiten vermitteln.

Mein Fazit: Die Macht der Drei

Während unseres Gesprächs wurde mir klar, wie komplex Technologie sein kann, aber wenn wir unsere Kompetenzen trennen - wobei Tobii sich auf Eye Tracking konzentriert und robuste Daten für jedermann liefert, OEMs eine rechenstarke Plattform bereitstellen, die bequeme und realistische Messungen unterstützt, und Soma sein Wissen über kognitive Prozesse nutzt - ermöglichen wir die Entwicklung innovativer Lösungen, die für viele Menschen lebensverändernd sind.

Kern erzählte auch von seinen Plänen, die digitalen Anwendungen der nächsten Generation bewusst und anpassungsfähig zu machen. Ihre Roadmap umfasst Experimente zur Messung kognitiver Funktionen und zur Entwicklung adaptiver Trainingsprogramme, die die Bewertung der kognitiven Belastung nutzen, um das Engagement und die Behaltensleistung zu erhöhen. Im Anschluss an ihren ersten Algorithmus zur Messung der kognitiven Belastung beabsichtigt Soma, ihr Portfolio an digitalen Biomarkern zu erweitern, um die Aufmerksamkeit und andere kognitive Prozesse abzudecken. Ich bin gespannt auf die Ergebnisse dieser Projekte und Experimente und möchte Julia dafür danken, dass sie sich die Zeit genommen hat, über dieses faszinierende Thema zu sprechen.

Wenn Sie mehr über die Lösung von Soma Reality erfahren möchten, verwenden Sie den Link in ihrer Biografie, um Kontakt aufzunehmen.