Ein Blickexperiment mit MetaHuman

Der Mensch ist ein soziales Wesen, das auf Kommunikation angewiesen ist, um Beziehungen zu anderen aufzubauen und zu pflegen. Von allen unseren Sinnen sind unsere Augen einzigartig, da sie soziale Signale empfangen und senden. Durch Blickkontakt fühlen wir uns anerkannt, verstanden und bestätigt. Säuglinge reagieren empfindlicher auf den Status der Augen der Erwachsenen als auf deren Kopfbewegungen. Menschen in einer Beziehung vermitteln ihre Liebe durch einen langen und tiefen Blick, ohne dass es weiterer Worte bedarf. Erfahrene Redner halten kraftvolle Reden, indem sie Blickkontakt mit dem Publikum aufnehmen. Der Augenkontakt ist der Schlüssel zu unserer Kommunikation.

Während wir anfangen, uns ein anderes Leben im Metaverse vorzustellen, glaube ich, dass die meisten von uns unseren Avataren Authentizität verleihen wollen, weil sie uns im erweiterten und virtuellen Raum manifestieren. Es ist nicht schwer, sich vorzustellen, dass wir mit anderen Nutzern (über Avatare) in Kontakt treten und an Gruppenaktivitäten und Unterhaltung teilnehmen werden. Die Ermöglichung von Augenkontakt und -bewegungen durch Eye Tracking-Technologie für die Avatare ist eine Selbstverständlichkeit. Dies wird die soziale Präsenz der Nutzer erheblich verbessern.

Die Nutzer können sich für eine Disney-Figur entscheiden oder einen digitalen Zwilling erstellen, der ihnen in jeder Hinsicht ähnelt, je nach der Art der Aktivitäten, die sie im Metaversum planen. Wir haben schon plattformübergreifende Avatarsysteme im Anime-Stil wie Ready Player Me gesehen, die Hunderte von Apps und Spielen unterstützen. Tobii kündigte kürzlich eine Zusammenarbeit mit der VR-Streaming-Plattform LIV an, die Ready Player Me-Avatare einbezieht und Tobii Eye Tracking für die Ersteller von Inhalten ermöglicht.

Um herauszufinden, ob Eye Tracking wirklich mehr Realismus in die fotorealistischen Avatare bringt, habe ich kürzlich einige Zeit damit verbracht, das Eye Tracking von Tobii in Epics beliebtem Avatar-Erstellungstool MetaHuman zu aktivieren. Und heute möchte ich Ihnen mitteilen, was mich an dieser faszinierenden "Hacking"-Erfahrung begeistert.

Erfassen von Gesichtsausdrücken in VR

MetaHuman-Charaktere sind hyperrealistisch und können mit Hilfe von Motion Capture (Mocap)-Geräten in Echtzeit, die über Live Link verbunden sind, zum Leben erweckt werden. Es gibt verschiedene Motion Capture-Lösungen, die erstaunlich lebendige Charaktere erzeugen. Sie erfassen auch Gesichtsbewegungen, allerdings auf unterschiedliche Weise, vom integrierten Ansatz in High-End-Ganzkörper-Motion Capture-Suiten (z. B. Cubic Motion) bis hin zur innovativen Verwendung des iPhone X. Dennoch können sie nicht direkt für Avatare in VR-Anwendungen verwendet werden, da der Benutzer bereits ein VR-Headset trägt, das das Gesicht bedeckt.

Die VR-Headsets der nächsten Generation sind mit zusätzlichen Sensoren für Eye Tracking und Lip Tracking ausgestattet, um die Mimik zu erfassen. Tobii Eye Tracking wurde zum Beispiel in Pico Neo3 Pro Eye, HP Reverb G2 Omnicept Edition, Pico Neo 2 Eye und HTC Vive Pro Eye integriert. In diesem Experiment habe ich das HP Reverb G2 Omnicept Edition Headset verwendet und die Echtzeit-Blickeingabe für die Ausdruckssteuerung von MetaHuman-Charakteren in VR-Anwendungen genutzt.

Erkundung von Ausdrücken und Kontrollen mit Blickeingabe

Beim MetaHuman Face Rig gibt es mehrere Kontrollpunkte für die Bewegung der Augen und der Muskeln um sie herum. Die Gesichtskontrolltafel zeigt, wie gut sich die Augenmuskeln bei der Steuerung der Blickrichtung bewegen. Wir konfigurieren dies so, dass wir Blickeingaben in Echtzeit vom VR-Headset erhalten, um die MetaHuman-Steuerungen für die Blickrichtung und andere Muskelkontrollpunkte zu aktualisieren, um realistische Blickausdrücke zu erhalten.

Wir verwenden die kombinierte Blickrichtung als Eingabe, normalisieren sie und zerlegen sie, um die Links-Rechts- und Oben-Unten-Bewegung zu erhalten, die zur Aktualisierung der Kontrollpunkte erforderlich ist.

Ausdruckskontrolle der Blickbewegung

Die Ausdrücke zur Steuerung des Blicks in jede Richtung für jedes Auge nehmen einen Float-Wert von 0,0 bis 1,0 an. Der normalisierte Blickrichtungsvektor wird in diese Steuerelemente für jedes Auge eingegeben. Wir haben den kombinierten Blick, in diesem Fall einen einzigen Vektor, verwendet, so dass für beide Augen der gleiche Wert gilt. Er reicht von 0,0, wenn der Blick geradeaus gerichtet ist, bis 1,0, wenn die Blickrichtung des Benutzers maximal ist.

Ausdruckskontrollen des Augenbrauenhochziehens

Zusätzlich zu den Kontrollen für den Blickausdruck haben wir auch die Kontrolle der Augenbrauen getestet, indem wir nur die Blickrichtung verwendet haben, wenn der Benutzer wieder nach oben schaut. Wir haben keine zusätzlichen Eingaben oder Signale für die Augenbrauen verwendet und dies nur durch die Blickrichtung nach oben ausgelöst. MetaHuman hat die Steuerelemente zum Anheben der Augenbrauen für die innere und äußere Region aufgeschlüsselt, und sie können separat gewichtet werden.

Weitere Entwicklung

In diesem Experiment haben wir nur die Blickrichtung als Eingabe verwendet, die etwa 12 Ausdruckskontrollpunkte auf dem MetaHuman Face Rig aktualisiert, um realistische Augenbewegungen zu erhalten. Weitere Kontrollpunkte können ausgelöst werden, um zusätzliche Blickausdrücke für VR-Anwendungen zu erhalten.

Für zukünftige Entwicklungen und Untersuchungen würden wir gerne Blinzel- und Augenöffnungssignale evaluieren, die Ausdruckssteuerungen für das Blinzeln, Blinzeln, Knirschen und sogar das Anheben der Wangen ermöglichen.

Das Konvergenzsignal kann auch verwendet werden, wenn der Spieler Objekte in unterschiedlichen Entfernungen anschaut und der Avatar somit von anderen Spielern in denselben VR-Anwendungen korrekt beobachtet wird.

Zusammenfassend glaube ich, dass authentische und ausdrucksstarke Avatare im Metaversum sehr erwünscht sein werden, nicht nur, weil die Nutzer den Unheimlichkeits-Tal-Effekt vermeiden wollen, sondern auch, weil sie genau und effektiv repräsentiert werden wollen, egal wo sie sind. Daher empfehle ich Entwicklern dringend, sich noch heute mit den Vorteilen von Eye Tracking auseinanderzusetzen. Weitere Informationen zur Aktivierung von Avataren in sozialen Anwendungen finden Sie in unserer XR Developer Zone . Oder kontaktieren Sie uns , wenn Sie an unserer zukünftigen Entwicklung mitarbeiten möchten.