Une expérience d'expression du regard avec MetaHuman

Les êtres humains sont des créatures sociales qui s'appuient sur la communication pour établir et développer des liens avec les autres. De tous nos sens, nos yeux sont uniques en ce sens qu'ils reçoivent et envoient des signaux sociaux. Grâce au contact visuel, nous nous sentons reconnus, compris et validés. Les nourrissons sont plus sensibles à l'état des yeux des adultes qu'à leurs mouvements de tête. Les personnes en couple expriment leur amour par un regard long et profond, sans qu'il soit nécessaire d'ajouter des mots. Les orateurs expérimentés prononcent des discours percutants en établissant un contact visuel avec le public. Le contact visuel est la clé de notre communication.

Alors que nous commençons à imaginer une autre vie dans le métavers, je crois que la plupart d'entre nous veulent apporter de l'authenticité à nos avatars parce qu'ils nous manifestent dans l'espace augmenté et virtuel. Il n'est pas difficile d'imaginer que nous socialiserons avec d'autres utilisateurs (par l'intermédiaire d'avatars) et que nous participerons à des activités de groupe et à des divertissements. Permettre le contact visuel et le mouvement grâce à la technologie d'Eye tracking pour les avatars devient une évidence. Cela améliorera considérablement la présence sociale des utilisateurs.

Les utilisateurs peuvent choisir une apparence semblable à celle d'un personnage de Disney ou créer un jumeau numérique qui leur ressemble en tous points, en fonction du type d'activités qu'ils prévoient d'entreprendre dans le métavers. Nous avons vu des systèmes d'avatars multiplateformes de type anime comme Ready Player Me prendre en charge des centaines d'applications et de jeux. Tobii a récemment annoncé une collaboration avec la plateforme de streaming VR LIV qui intègre les avatars Ready Player Me et permet l'eye tracking de Tobii pour les créateurs de contenu.

Pour voir si l'eye tracking apporte vraiment plus de réalisme même aux avatars photoréalistes, j'ai récemment passé du temps à activer l'eye tracking de Tobii dans MetaHuman, l'outil populaire de création d'avatars d'Epic. Aujourd'hui, je souhaite partager ce qui me passionne dans cette expérience de "hacking" fascinante.

Capturer les expressions faciales dans la RV

Les personnages MetaHuman sont hyperréalistes et peuvent être rendus vivants grâce à des dispositifs de Motion Capture en temps réel (Mocap) connectés via Live Link. Il existe plusieurs solutions de Motion Capture qui permettent de créer des personnages étonnamment vivants. Elles capturent également les mouvements du visage, mais de différentes manières, de l'approche intégrée dans les suites de capture de mouvement du corps entier haut de gamme (par exemple Cubic Motion) à l'utilisation innovante de l'iPhone X. Néanmoins, elles ne peuvent pas être directement utilisées pour les avatars dans les applications VR, car l'utilisateur porte déjà un casque VR qui couvre le visage.

Les casques VR de nouvelle génération sont équipés de capteurs supplémentaires pour l'eye tracking et le lip tracking afin de capturer les expressions faciales. Par exemple, l'Eye tracking de Tobii a été intégré dans le Pico Neo3 Pro Eye, le HP Reverb G2 Omnicept Edition, le Pico Neo 2 Eye et le HTC Vive Pro Eye. Dans cette expérience, j'ai utilisé le casque HP Reverb G2 Omnicept Edition et j'ai exploité la saisie du regard en temps réel pour contrôler les expressions des personnages MetaHuman dans les applications VR.

Exploration des expressions et des commandes par le regard

Le simulateur de visage MetaHuman comporte plusieurs points de contrôle pour le mouvement des yeux et des muscles qui les entourent. Le tableau de contrôle du visage montre comment les muscles oculaires se déplacent lorsqu'ils contrôlent la direction du regard. Nous la configurons pour obtenir des données en temps réel sur le regard à partir du casque VR afin de mettre à jour les commandes d'expression de la direction du regard de MetaHuman et d'autres points de contrôle des muscles pour obtenir des expressions réalistes du regard.

En utilisant la direction combinée du regard comme entrée, nous la normalisons et la décomposons pour obtenir le mouvement gauche-droite et haut-bas nécessaire à la mise à jour des points de contrôle.

Contrôle de l'expression du mouvement du regard

Les expressions de contrôle du regard dans chaque direction pour chaque œil prennent une valeur flottante comprise entre 0,0 et 1,0. Le vecteur de direction du regard normalisé entre dans ces commandes pour chaque œil. Nous avons utilisé le regard combiné, un seul vecteur dans ce cas, de sorte que la même valeur s'applique aux deux yeux. Il va de 0,0 lorsque l'utilisateur regarde droit devant lui à 1,0 lorsque la direction du regard de l'utilisateur est maximale.

Contrôles de l'expression des sourcils

Outre les contrôles de l'expression du regard, nous avons également testé les contrôles des sourcils en utilisant uniquement la direction du regard lorsque l'utilisateur regarde à nouveau vers le haut. Nous n'avons pas utilisé d'entrée ou de signal supplémentaire pour les sourcils et avons déclenché cela en utilisant uniquement la direction du regard vers le haut. MetaHuman a décomposé les commandes de relèvement des sourcils pour la région intérieure et la région extérieure, et elles peuvent être pondérées séparément.

Poursuite du développement

Dans cette expérience, nous n'avons utilisé que la direction du regard comme une entrée qui met à jour environ 12 points de contrôle d'expression sur la plate-forme faciale MetaHuman pour obtenir des mouvements oculaires réalistes. D'autres points de contrôle peuvent être déclenchés pour obtenir des expressions de regard supplémentaires pour les applications VR.

Pour de futurs développements et explorations, nous aimerions évaluer les signaux de clignement des yeux et d'ouverture des yeux qui peuvent permettre des contrôles d'expression pour le clin d'œil, le plissement des yeux, le froncement des sourcils et même le relèvement des joues.

Le signal de convergence peut également être utilisé lorsque le joueur regarde des objets à des distances variables, et que l'avatar est ainsi observé correctement par d'autres joueurs dans les mêmes applications de RV.

Pour conclure, je pense que les avatars authentiques et expressifs seront très recherchés dans le métavers, non seulement parce que les utilisateurs veulent éviter l'effet "uncanny valley", mais aussi parce qu'ils souhaitent être représentés de manière précise et efficace, où qu'ils soient. C'est pourquoi je recommande vivement aux développeurs de commencer à explorer les avantages de l'Eye tracking dès aujourd'hui. Pour en savoir plus sur l'activation des avatars dans les applications sociales, consultez notre XR Developer Zone . Ou contactez-nous si vous souhaitez collaborer à nos futurs développements.