Warum Smart glasses Eye Tracking brauchen

Was sind Smart glasses?

Es gibt keine einheitliche Definition von Smart glasses (oder Smartglasses). Eine praktische, produktorientierte Definition könnte jedoch sein, dass es sich um am Kopf getragene Geräte handelt, die die vertrauten Vorteile einer Brille und zusätzliche Funktionen bieten, die durch Sensoren, Audio- und visuelle Komponenten und Prozessoren ermöglicht werden.

Diese Definition schließt Geräte der virtuellen Realität (VR) und der gemischten Realität (MR) aus, die die Welt mit Hilfe von Passthrough-Video sehen. Sie könnte jedoch Augmented Reality (AR)-Geräte einschließen, die eine durchsichtige Optik verwenden.

Ist es wichtig, dass Smart glasses auch herkömmliche Brillen umfassen? Nun, würde ein Smartphone die Telefonfunktion ausschließen? Oder wäre eine Smartwatch nicht in der Lage, die Zeit anzuzeigen? Gehen wir davon aus, dass "intelligent" eine Erweiterung der ursprünglichen Funktionalität bedeutet.

Um praktisch zu sein, müssen Smart glasses so bequem sein, dass sie wie normale Brillen über einen längeren Zeitraum getragen werden können. Subjektiv bedeutet dies, dass Größe und Gewicht einer normalen Brille ähneln und bis zu einem gewissen Grad sogar modisch sein sollten.

Was kann eine Smart glasses leisten?

Die heutigen Smart glasses ermöglichen es, Musik zu hören, zu telefonieren, Sprachassistenten zu rufen und Fotos und Videos aufzunehmen. Geräte mit Displays können Funktionen wie Karten, Textnachrichten, Benachrichtigungen, Kalender und Sprachübersetzung haben. Diese Anwendungen gibt es nicht nur bei Smart glasses, sondern sie sollten jedem Smartphone-Besitzer bekannt sein. Der Unterschied besteht darin, dass Sie Ihr Smartphone nicht herausholen müssen, um auf diese Funktionen zuzugreifen, ähnlich wie bei den Vorteilen von Smartwatches.

Im Vergleich zu Smartwatches müssen Sie bei Smart glasses nicht auf Ihre Hände schauen, sondern können sich ganz auf die Welt um Sie herum und die jeweilige Aktivität konzentrieren. Die meisten Smart glasses haben auch integrierte Lautsprecher, sodass Sie auf Ohrstöpsel verzichten können, was Ihr Situationsbewusstsein weiter erhöht und anderen zeigt, dass Sie sie hören können. Smart glasses ermöglichen es Ihnen, mit Ihrem digitalen Leben verbunden zu sein, ohne von der physischen Welt abgekoppelt zu sein.

Wie wird Eye Tracking bei Smart glasses eingesetzt?

Eye Tracking kann natürliche und neuartige Möglichkeiten für Benutzereingaben bieten, KI-gesteuerte Anwendungsfälle beschleunigen und die Benutzerfreundlichkeit optimieren. Es kann auch als Sensor dienen, damit sich die Technologie an den Träger anpassen kann.

Kontextbezogene KI und Sprachverständnis

Smart glasses können durch günstig platzierte Kameras, Mikrofone und andere Sensoren eine enorme Menge an Informationen über die Umgebung des Trägers sammeln. Dadurch eignen sich Brillen gut für KI-Anwendungen wie die visuelle Suche und multimodale Konversation.

KI ist effektiver, wenn sie über einen ausreichenden Kontext für eine Anfrage verfügt und klar verstehen kann, worum sie gebeten wird. Menschen zu verstehen ist das Ziel von Aufmerksamkeits-Computing-Technologien wie Eye Tracking. Ein Bild der Szene vor einem Benutzer ist zwar ein wertvoller Kontext, aber wenn man weiß, worauf sich der Benutzer konzentriert, kann man spezifische, effiziente Antworten geben. Es macht den Unterschied zwischen allgemeinen Informationen und aufmerksamen, auf den Punkt gebrachten Antworten aus.

Ein Museumsbesucher könnte zum Beispiel ein Gemälde betrachten und die KI fragen: "Was ist das?" Die KI könnte entweder antworten: "Das sind gerahmte Kunstwerke, die an der Wand hängen", oder "Das ist Gustav Klimts Frauenbildnis". Ähnlich verhält es sich mit Fragen wie "Wie benutze ich das?" "Muss ich das Kabel dort einstecken?" "Was hält er in der Hand?" sind weniger zweideutig, wenn das Objekt der Aufmerksamkeit des Benutzers bekannt ist.

Im Teaser-Video zu Googles Project Astra sehen wir ein Beispiel für die Nutzung von visuellem Fokus durch KI. Der Nutzer zeichnete einen roten Pfeil und fragte die KI: "Was kann ich hier hinzufügen...?" Die Antwort verriet, dass sie die Absicht und die Aufmerksamkeit des Nutzers verstanden hatte. Hätte sich das Diagramm in einem Buch oder auf einem Bildschirm befunden oder wäre es gar kein Diagramm, sondern eine physische Maschine gewesen, hätte ein von Hand gezeichneter Pfeil vielleicht nicht funktioniert, aber ein einfacher Blick auf den interessanten Punkt hätte ausgereicht. Eye Tracking würde diese Art der aufmerksamkeitsgesteuerten Abfrage ermöglichen.

Diese Art der Unterstützung mit einer gemeinsamen Ansicht spiegelt die Interaktion zwischen Menschen während einer Fernunterstützungssitzung wider. Der Nutzer ist mit einer Aufgabe beschäftigt, während ein Experte aus der Ferne zusieht und Hilfestellung gibt. Smart glasses ermöglichen eine Unterstützung nach dem Motto "Ich sehe, was ich sehe", die durch Eye Tracking noch mehr Aufmerksamkeit erhält.

Augengesten

Eine Herausforderung bei einem Gerät, das sich im Gesicht befindet, ist die Frage, wie man es am besten bedient. Die entspannte Ruheposition unserer Hände ist weit von den manuellen Bedienelementen des Geräts entfernt. Das kann Berührungsinteraktionen umständlich und ermüdend machen. Einige Smart glasses versuchen, diese Einschränkung mit kabellosen Controllern zu überwinden, aber bei freihändiger Nutzung ist das möglicherweise keine Option. Sprachbefehle sind eine bequeme Möglichkeit, mit Smart glasses zu interagieren, aber manche Situationen erfordern stille oder diskrete Interaktionen.

Eye Tracking eröffnet die Möglichkeit, das Gerät mit unseren Augen zu steuern.

• Die Blickrichtung kann wie ein unsichtbarer Laserpointer wirken, um Aufmerksamkeit zu signalisieren.

• Blick + Blinzeln kann eine Bestätigung sein oder als Auslöser dienen.

Diese Gesten können die Smart glasses anweisen, eine Erinnerung zu löschen, einen QR-Code zu scannen, die gerade eingegangene Textnachricht vorzulesen oder einen aktiven Anruf aufzulegen.

Auch wenn der Grad der Kontrolle begrenzt ist, können Augengesten für einfache Interaktionen wie die Navigation auf der Benutzeroberfläche , die Beantwortung von Dialogen und die Aktivierung häufig verwendeter Funktionen geeignet sein.

Adaptive Anzeigen

Einige Technologien für augennahe Displays funktionieren nur, wenn das Display und das Auge richtig ausgerichtet sind. Vielleicht haben Sie bei der Verwendung eines Mikroskops oder eines Fernglases, das Sie nur dann klar sehen lässt, wenn sich Ihr Auge in einem kleinen Sweet Spot befindet, schon einmal eine optische Fehlausrichtung erlebt. Ein Eye Tracker kann dem Display genau mitteilen, wo sich das Auge gerade oder kontinuierlich befindet, so dass das Display-System trotz häufiger Augenbewegungen selektiv leuchten oder sich selbst in die optimale Richtung lenken kann.

Smartphones können alles. Brauchen wir wirklich eine Smart glasses?

Als das ursprüngliche iPhone vorgestellt wurde, war es eine Kombination aus einem Musikplayer, einem Mobiltelefon und einem Internet-Kommunikationsgerät. Von diesen drei Funktionen befanden sich die ersten beiden bereits in den Taschen vieler Menschen. Laut einer Umfrage von Qualcomm aus dem Jahr 2023 ist der Internet-Kommunikator heute die meistgenutzte Funktion von Smartphones. Smartphones in Verbindung mit der Internetsuche ermöglichen uns jederzeit und überall den Zugang zum Wissen der Welt.

Smart glasses können die Hände und Augen befreien, die stundenlang am Tag von Smartphones gefangen gehalten werden. KI-Assistenten, die in der Lage sind, durch unsere Augen zu sehen, werden uns just-in-time leiten und unsere Erfahrungen mit der Welt bereichern. Wo Smartphones uns Wissen gebracht haben, werden Smart glasses uns Know-how bringen und uns in die physische Welt zurückkehren lassen, in die wir gehören.