Entmystifizierung des Eye Tracking für XR - die Bedeutung der Universalität

Eye Tracking hat den Nimbus einer fantastischen und etwas futuristischen Technologie mit viel Potenzial. Ich glaube zwar, dass das stimmt, aber diese Technologie hat sich in den letzten zwei Jahrzehnten zu einem bewährten Mittel zur Lösung einiger schwieriger Probleme entwickelt. Sie ist beispielsweise der Grundstein für assistive Technologien, die Menschen mit Bewegungs- und Sprachbehinderungen ein Kommunikationsmittel zur Verfügung stellen und ihnen so ein unabhängiges Leben ermöglichen.

Aber unser Ziel bei Tobii war es schon immer, das Leben aller Menschen positiv zu beeinflussen - nicht nur derer, die auf unsere Technologie angewiesen sind, um ein normales Leben zu führen.Unser Ziel ist es, Geräte besser und intuitiver zu machen. Um das zu erreichen, müssen Technologien wie Eye Tracking universell einsetzbar sein - und genau darüber werde ich in diesem Beitrag sprechen.

Um universell einsetzbar zu sein, muss sich eine Technologie an Normen und Standards halten. Im Idealfall sollte sie nicht zu viel Platz beanspruchen, um Tragbarkeit und Mobilität zu gewährleisten. Eine niedrige Rechenlast ist immer eine Überlegung wert, um die Batterielebensdauer zu maximieren und die Leistung zu gewährleisten. Und es versteht sich von selbst, dass eine Technologie, die in ein Endgerät eingebaut wird, für jeden, überall und zu jeder Zeit funktionieren muss.

Es ist relativ einfach, einen guten Eye Tracker zu bauen, der für die meisten Menschen in den meisten Situationen funktioniert. Im Grunde genommen braucht man nur eine Kamera, eine Lichtquelle und eine Verarbeitungseinheit. Das Licht beleuchtet die Augen der Person, erhöht den Kontrast zwischen Pupille und Iris und erzeugt Reflexionen auf der Hornhaut. Die Kamera nimmt Bilder von den Augen der Person auf, und die Verarbeitungseinheit ermittelt die Pupille und diese Reflexionen auf der Hornhaut. Mit diesen Informationen, den bekannten Positionen von Kamera und Lichtquelle und der Anatomie des menschlichen Auges lassen sich die Position und der Drehwinkel jedes Auges berechnen. Kalibrieren Sie das Eye Tracking-System, indem Sie den Benutzer auffordern, ein Objekt zu betrachten, dessen Position bekannt ist, und Sie haben alles, was Sie brauchen, um zu bestimmen, wohin eine Person schaut.

Jeder neue Anwendungsfall bringt jedoch neue Herausforderungen mit sich, und ich wünschte, es gäbe eine Art Geheimrezept, das alles löst, aber leider gibt es das nicht. Es erfordert harte und engagierte Arbeit, um ein einfaches Eye Tracking-System in etwas Zuverlässiges zu verwandeln.

Zu Beginn müssen wir in der Regel große Datensätze erzeugen. Wir müssen wissen, nach welchen Informationen wir suchen müssen und wie wir die Daten für die jeweilige Anwendung aufbereiten können. Ein Forschungsszenario erfordert beispielsweise nicht die gleichen anspruchsvollen Anforderungen an die Abdeckung der Bevölkerung wie eine geräteeigene Funktion in einem Massenmarktprodukt - wie z. B. das foveated rendering in einem VR-Headset.

Und dann ist da noch das Problem der Latenz. Eine grafiklastige Anwendung mit Split-Rendering, bei der ein Teil der Rechenleistung auf dem Gerät und ein Teil in der Cloud ausgeführt wird, erfordert beispielsweise eine Verbindung mit geringer Latenz sowohl mit dem Netzwerk als auch mit dem Eye Tracker. Andererseits hat eine Anwendung, die eine augengesteuerte Menüauswahl unterstützt, nicht die gleichen Latenzanforderungen, was eine gewisse zeitliche Filterung ermöglicht, um das Benutzererlebnis zu verbessern.

Manche mögen behaupten, dass Eye Tracking ein reines Informatikproblem ist und dass maschinelles Lernen alles für Sie lösen wird. Und obwohl maschinelles Lernen ein wichtiger Teil unserer Lösung ist, müssen Sie bei der Entwicklung von Eye Tracking-Algorithmen die Anatomie des Auges, die Art und Weise, wie das Gehirn visuelle Signale interpretiert, sowie die Ziele der angestrebten Anwendung berücksichtigen.

Aber ich denke, die größte Schwierigkeit kommt, wenn man von der Idee zur Vermarktung übergeht. Ein Scheitern ist keine Option für ein Massenmarktszenario, bei dem Millionen von Geräten auf die volle Funktionsfähigkeit Ihrer Technologie angewiesen sind. Das Erreichen einer Bevölkerungsabdeckung von 99 % und mehr bedeutet, dass Szenarien und Personen, die während der Ideenfindung als Ausreißer betrachtet wurden, nun berücksichtigt werden müssen. Hängende Augenlider, Make-up, das wichtige Funktionen verdeckt, Korrektionsbrillen, Kontaktlinsen und faule/dominante Augen sind allesamt typisch. Darüber hinaus müssen Sie wahrscheinlich mit dem Verrutschen des Headsets sowie mit Variationen des Augenabstandes (IPD), der Gesichtsform, der Hautreflexion im Nahinfrarotbereich, der Irisfarbe und den Toleranzen bei Komponenten und Platzierung umgehen.

Um Ihnen eine Vorstellung davon zu geben, wie die Herausforderungen aussehen, sehen Sie sich die Beispielbilder oben an. Während der Entwicklung müssen Sie überlegen, wie Sie mit der durch das VR-Objektiv verursachten Verzerrung umgehen, wie Sie mit Streulicht umgehen und wie Sie durch Korrektionsbrillen verursachte Geisterreflexionen herausfiltern. Denn in all diesen Fällen müssen Sie die Pupille und die Hornhautreflexionen mit Subpixel-Genauigkeit finden - ein komplexes Problem, das aber definitiv lösbar ist.

Sie glauben mir hoffentlich, wenn ich sage, dass es einfach ist, ein grundlegendes Eye Tracking-System zu erstellen, aber die Entwicklung eines Systems, das für alle funktioniert, erfordert Zeit und Hingabe. Eines der Dinge, auf die ich in diesem Beitrag nicht eingegangen bin, ist die Leistungsbewertung und die Bedeutung der Messung der Auswirkungen von Änderungen auf die Systemleistung, um sicherzustellen, dass Sie das optimale Design beibehalten, wenn Sie sich weiterentwickeln, um neuen Anwendungsfällen gerecht zu werden. Ich bin bewusst nicht auf die Leistung eingegangen, weil sich einige meiner Kollegen in den letzten Monaten auf diesen Bereich konzentriert haben. Sie haben eine Reihe von Metriken und eine Methodik zur Messung der Leistung von Eye Tracking-Systemen entwickelt, die Sie in unserem White Paper Eye Tracking Performance Assessment - for VR/AR Headsets and tragbare nachlesen können. Wenn Sie natives Eye Tracking in einem VR-Headset ausprobieren möchten, werfen Sie einen Blick auf das neueste Modell mit der Technologie von Tobii, das
Pico Neo 3 Pro Eye , das kürzlich angekündigt wurde.