Die 5 wichtigsten kommerziellen VR-Innovationen, die durch Tobii Ocumen ermöglicht werden

In meiner Position als Produktmanager für Tobii Ocumen kann ich die Konvergenz von XR und Eye Tracking aus der ersten Reihe verfolgen und hatte die Gelegenheit, einige der erstaunlichen Lösungen, die daraus resultieren, hautnah mitzuerleben. Seit 2020, als wir
Tobii Ocumen - unser fortschrittliches VR-Toolkit - auf den Markt brachten, haben wir einige Zeit damit verbracht, den Code zu überarbeiten, um die Robustheit zu gewährleisten, und wir haben mit Entwicklern aus verschiedenen Fachbereichen und Disziplinen zusammengearbeitet, um sie bei der Vermarktung von VR-Lösungen zu unterstützen, die unsere Eye Tracking-Technologie und die fortschrittliche Biometrie sowie die im Produkt enthaltenen Tools für die Entwicklung und Bereitstellung nutzen.

In diesem Beitrag werde ich fünf der meiner Meinung nach innovativsten kommerziellen Lösungen vorstellen, die mit Tobii Ocumen entwickelt wurden - in der Hoffnung, dass Sie die Probleme erkennen, die die Innovatoren gelöst und die Hindernisse, die sie überwunden haben. Am Ende des Beitrags finden Sie einige Details über das Toolkit, wie die Filter funktionieren und wie wir die Datenstruktur entwickelt haben, um eine offene Architektur zu gewährleisten. Dort finden Sie auch einen Link, über den Sie eine kostenlose Testversion anfordern können, falls Tobii Ocumen für Ihre Forschung, Anwendung oder Lösung hilfreich ist. Viel Spaß!

#1 Bewertung der Gehirnerschütterung - NeuroSync

Einer unserer ersten Kunden, der Tobii Ocumen einsetzte, war NeuroSync (früher SyncThink). Wie Scott Anderson (Chief Clinical Officer) in einem Interview aus dem Jahr 2021
betont, ist einer der Hauptvorteile von VR die Mobilität, wenn es darum geht, den Schlüssel zur Skalierbarkeit zu finden . NeuroSync hat eine Lösung - EYE-SYNC® - entwickelt, die Klinikern hilft, traumatische Hirnverletzungen (TBI) zu beurteilen. VR bringt die Lösung nicht nur direkt an den Rand des Fußballfeldes oder des Hockeyfeldes, sondern ist durch die geschlossene Umgebung auch ideal, um Menschen dabei zu helfen, äußere Einflüsse auszublenden, die bei Live-Sportveranstaltungen sehr intensiv sein können. Anderson erwähnt vor allem die genaue und systematische Messung der Augenbewegungen und wie sie die in Tobii Ocumen enthaltenen High-Level-Filter eingesetzt haben, um die Umwandlung von Eye Tracking-Rohdaten in zuverlässige Biomarker zu erleichtern.

#2 Kognitive Leistungsfähigkeit - REACT Neuro und Aperion Life

Da die Weltbevölkerung immer älter wird, gewinnt die Bedeutung der kognitiven Leistung zunehmend an Bedeutung, da wir versuchen, die Lebensqualität zu sichern und Therapien für neurodegenerative Krankheiten wie Alzheimer, ALS und Parkinson zu ermöglichen. REACT Neuro ist ein in Cambridge ansässiger Plattformentwickler, der daran arbeitet, traditionelle kognitive Tests in die VR zu verlagern. In einer Studie zur Ermittlung der Auswirkungen eines gesunden Lebensstils auf die kognitive Leistungsfähigkeit verwendete Apeiron Life (ein Startup-Unternehmen aus dem Silicon Valley) die VR-Simulation des klassischen papierbasierten Tests von REACT Neuro.

Die Anwendung nutzt die fortschrittliche Biometrie von Tobii Ocumen, um Sakkaden und Fixierungen zu erkennen, die manuell nicht beobachtet werden können. Unsere robusten Daten stellen sicher, dass die Leistung über einen längeren Zeitraum verfolgt werden kann.

Seit dem Abschluss der Studie sind beide Unternehmen begeistert von dem Potenzial für tiefgreifende Metriken, die von fortschrittlichen Sensortechnologien wie Eye Tracking, Motion Tracking, Spirometern, EEG und thermografischen Sensoren erzeugt werden, und davon, wie der Makrotrend des Wohlbefindens dafür sorgen wird, dass einige dieser fortschrittlichen Technologien in den Mainstream eindringen werden.

Die ganze Geschichte können Sie in diesem Blogbeitrag lesen: Kognitive Leistung über Jahrzehnte hinweg .

#3 VR-basiertes Training - Cineon Training

Die Zahlen variieren, aber einige Quellen prognostizieren ein weltweites Defizit von bis zu 80.000 ausgebildeten Piloten im kommenden Jahrzehnt. Der Mangel ist auf eine Vielzahl von Faktoren zurückzuführen: Entlassungen und Vorruhestand während des Kovids, weniger Militärpiloten (was zu einem Rückgang der Verfügbarkeit für die Zivilluftfahrt führt), Erholung der Reisebranche nach dem Kovid und ausgebuchte Simulationsanlagen, deren Bau teuer ist und deren Stundensätze in die Höhe schnellen.

Das britische Unternehmen Cineon Training hat eine VR-basierte Anwendung (TACET) entwickelt, um die Kommunikationskompetenz zu verbessern und den Erwerb von Fähigkeiten zu beschleunigen. Sie nutzt Eye Tracking und fortschrittliche Signale von Tobii Ocumen, um die Effizienz der im Simulator verbrachten Zeit zu verbessern.

TACET verwendet Tobii Ocumen auf einem Pico Neo 3 Pro Eye - einem ungebundenen VR-Headset, das mit dem Eye Tracking von Tobii ausgestattet und mit einer Microsoft Azure Cloud-Lösung zum Hochladen und Überprüfen der Aufnahmen verbunden ist. Das Bild zeigt, wie ein Experte eine Aufgabe ausführt (die grünen Linien) im Vergleich zu einem Anfänger (weiße Linien).

Eine der wichtigsten Erkenntnisse ist die Auswirkung des Eye Tracking auf die Robustheit der erlernten Fähigkeiten. Und das haben wir auch von anderen Partnern gehört. Eye Tracking ist ein Fenster in die Psyche. Es ermöglicht uns, Emotionen und Gefühle einzuschätzen und beschleunigt das Lernen. Wenn man sich eine neue Fähigkeit aneignet, kann man sehen, wie sich die eigenen Augen bewegen (worauf man sich konzentriert) und mit der Arbeitsweise eines Experten vergleichen, um das kognitive Problem zu lösen. Auch Menschen, die bereits etwas gut können, können so ihre Lösungen verfeinern.

#4 Digitale Transformation in der Medizintechnik - Olleyes

Als digitales Werkzeug, das Erkenntnisse über Menschen liefert, trägt Eye Tracking dazu bei, die traditionelle, auf manueller Beobachtung basierende Pflege in den digitalen Bereich zu übertragen. Wie ich bereits erwähnt habe, bietet VR bei der Beurteilung von Gehirnerschütterungen durch NeuroSync den Vorteil der Mobilität, was oft zu hochflexiblen Lösungen führt.

Die Olleyes haben Tobii Ocumen auf einem Pico Neo 3 Pro Eye VR-Headset verwendet, um eine umfassende Bewertung des Gesichtsfeldes zu liefern und die Netzhautsensibilität zu analysieren, zum Beispiel für Patienten mit Glaukom. Sie haben eine Reihe von Augentests entwickelt, die eine Person schnell (in Minuten statt in Stunden) im Liegen oder im Sitzen durchführen kann - dies erhöht die Flexibilität der Lösung und die Anzahl der Personen, die eine Klinik täglich untersuchen kann. Wie viele andere in der Medizintechnik versucht Olleyes, Lösungen bequemer zu machen, indem es die Verlagerung nach Hause ermöglicht.

Wenn Sie mehr über unsere Zusammenarbeit mit Olleyes erfahren möchten, empfehle ich Ihnen dieses Gespräch im VRARA-Forum Gesundheitswesen mit meiner Kollegin Amanda Bentley und dem CEO von Olleyes, Alberto Gonzalez, über den Aufbau einer zugänglicheren und effektiveren Sehkraftversorgung .

#5 Pilotenausbildung - VTR

Um einen neuen Flugzeugtyp, z. B. eine Boeing 737 oder einen Airbus A320, fliegen zu können, benötigen Piloten eine Musterberechtigung (eine Lizenz). Um die Position und Funktion aller Instrumente zu erlernen, verwenden sie in der Regel so genannte "Papiertiger" - Attrappen des Cockpits. Bei diesen Tigern kann es sich um fortschrittliche Touchscreens handeln, aber sie sind in der Regel kostspielig und vermitteln kein realistisches Gefühl für den 3D-Raum. Diese Situation ist nicht ideal für Piloten, die in der Regel zwei bis drei Wochen Zeit haben, um einen neuen Flugzeugtyp zu erlernen und zu verstehen, was jedes Licht, jeder Knopf, jeder Schalter und jede Anzeige im Cockpit bedeutet. Das Handbuch für eine Boeing 737 zum Beispiel umfasst etwa 2.000 Seiten.

Um die mangelnde ökologische Validität von Papiertigern zu überwinden, hat VTR eine VR-Simulation entwickelt, die die Cockpit-Umgebung genau nachbildet, um einen soliden Kompetenzerwerb zu gewährleisten. Entscheidend ist, dass das Unternehmen mit JetBlue - einer der größten Fluggesellschaften in den USA - zusammengearbeitet hat, um Anwendungsdaten zur Unterstützung des ROI zu gewinnen.

Für einen tieferen Einblick in VTR empfehle ich diesen AWE-Talk mit meinem Kollegen Johan Bouvin und Rick Parker, einem der Mitbegründer von VTR , der mit XR und Eye Tracking ein revolutionäres Pilotentraining aufbaut .

Über Tobii Ocumen

Diese fünf hochinnovativen Anwendungsfälle sind kommerziell realisierbar, weil sie die geschlossene Natur von VR, ihre Mobilität und den Realismus, den das Medium bietet, nutzen, um eine kosteneffiziente Lösung zu liefern. Und alle wurden mit Tobii Ocumen entwickelt.

Was also bringt Tobii Ocumen auf den Tisch, um die Entwicklung solcher Anwendungen zu ermöglichen?

Erweiterte Signale und Filter

Tobii Ocumen bietet fortschrittliche Eye Tracking-Signale, darunter:

• Blickvektoren (linkes und rechtes Auge getrennt).

• Pupillendurchmesser (linkes und rechtes Auge getrennt).

• Hochpräzise System- und Gerätezeitstempel.

• Metadaten, wie z. B. Eye Tracking Hardware-, Firmware- und Runtime Software-Versionen.

Die von unseren Kunden sehr geschätzte Filterbibliothek bietet forschungsbasierte, vorvalidierte Filterkomponenten zur Erkennung von Augenbewegungen wie Fixationen, Sakkaden und Smooth Pursuit. Diese Filter wandeln die von unserer Eye Tracking Hardware erfassten Daten in Bausteine für Standard-Biomarker um.

Kalibrierung und Positionierung

Um sicherzustellen, dass Tobii Ocumen hochwertige Daten liefert und die Bilder korrekt angezeigt werden, müssen die VR-Headsets richtig auf dem Kopf des Benutzers sitzen und unser Eye Tracking muss für die jeweilige Person kalibriert werden.

Um den Prozess der Kalibrierung und Positionierung zu vereinfachen, haben wir einige coole Funktionen entwickelt, die Sie direkt in Ihre Anwendung einbetten können, damit die Benutzer nicht die umständlichen Schritte des Beendens Ihrer Anwendung, des Startens eines separaten Kalibrierungs-/Positionierungsprozesses und des Wiederaufnehmens durchführen müssen.

Aufzeichnung und Wiedergabe

Um die Entwicklung zu erleichtern, kombiniert Tobii Ocumen Kontextdaten wie 3D-Objektbewegungen und Videos aus der Benutzeransicht mit Sensordaten aus dem erweiterten Eye Tracking und Veranstaltungen des Controllers in einem einzigen Format.

Wir haben einige fertige Rekorder und Vorlagen für gängige Forschungsstudienparadigmen bereitgestellt, die Sie schnell in Ihr Unity-Projekt integrieren können. Und zur Unterstützung der Wiedergabe haben wir Tobii Ocumen Studio entwickelt (siehe Video unten), das aufgezeichnete Daten (Kontext und Sensor) in einem leicht verständlichen visuellen Format darstellt.

Datenintegrität

Bei der jüngsten Entwicklung von Tobii Ocumen haben wir uns einige Mühe mit der Datenstruktur gegeben, die Geschwindigkeit und Dateigröße optimiert und eine flexible Produktarchitektur mit einer offenen E/A-Schnittstelle geschaffen. Das Produkt unterstützt die Datenkonvertierung, und Sie können problemlos Daten importieren, die von einem beliebigen Gerät oder einer Maschine erfasst wurden, unabhängig von der von Ihnen bevorzugten Programmiersprache.

Ich denke, dass unsere enge Beziehung zur wissenschaftlichen Forschungsgemeinschaft erwähnenswert ist. Aus diesem Grund sind wir uns des Bedarfs an wissenschaftlich fundierten Validierungsdaten für kommerzielle Lösungen, die eine behördliche Zertifizierung erfordern, sehr bewusst. Unsere Validierungen umfassen die Abdeckung der Bevölkerung, Genauigkeit, Präzision und Nachverfolgbarkeit.

Nützliche Links

• Weitere Inspirationen und technische Details finden Sie in unserem
  Entwicklerbereich für Tobii Ocumen .

• Weitere Informationen über das Produkt finden Sie auf der Tobii Ocumen Produktseite.