Un experimento de expresión de la mirada con MetaHuman

Los seres humanos son criaturas sociales que dependen de la comunicación para establecer y desarrollar vínculos con los demás. De todos nuestros sentidos, los ojos son los únicos que reciben y envían señales sociales. A través del contacto visual, nos sentimos reconocidos, comprendidos y validados. Los bebés son más sensibles al estado de los ojos de los adultos que al movimiento de su cabeza. Las personas que mantienen una relación transmiten amor con una mirada larga y profunda, sin necesidad de más palabras. Los oradores experimentados pronuncian discursos impactantes estableciendo contacto visual con el público. El contacto visual es la clave de nuestra comunicación.

Mientras empezamos a fantasear con otra vida en el metaverso, creo que la mayoría de nosotros queremos aportar autenticidad a nuestros avatares porque nos manifiestan en el espacio virtual y aumentado. No es difícil imaginar que socializaremos con otros usuarios (a través de avatares) y participaremos en actividades de grupo y entretenimiento. Permitir el contacto visual y el movimiento a través de la tecnología Eye tracking para los avatares se convierte en una obviedad. Aumentará significativamente la presencia social de los usuarios.

Los usuarios pueden elegir una apariencia similar a la de un personaje de Disney o crear un gemelo digital que se parezca a ellos mismos en todo lo posible según el tipo de actividades que planeen realizar en el metaverso. Hemos visto sistemas de avatares de estilo anime multiplataforma, como Ready Player Me, compatibles con cientos de apps y juegos. Tobii ha anunciado recientemente una colaboración con la plataforma de streaming de RV LIV que incorpora los avatares de Ready Player Me y permite el eye tracking de Tobii para los creadores de contenidos.

Para comprobar si el eye tracking realmente aporta más realismo incluso a los avatares fotorrealistas, recientemente he pasado algún tiempo habilitando el eye tracking de Tobii en la popular herramienta de creación de avatares MetaHuman de Epic. Y hoy quiero compartir lo que me entusiasma de esta fascinante experiencia de "hacking".

Captura de expresiones faciales en RV

Los personajes de MetaHuman son hiperrealistas y pueden cobrar vida mediante dispositivos de Motion Capture (Mocap) en tiempo real conectados a través de Live Link. Existen varias soluciones de Motion Capture que crean personajes increíblemente vivos. También capturan el movimiento de la cara, pero de diferentes maneras, desde el enfoque integrado en las suites de captura de movimiento de cuerpo completo de gama alta (por ejemplo, Cubic Motion) hasta el uso innovador del iPhone X. Sin embargo, no se pueden utilizar directamente para avatares en aplicaciones de RV porque el usuario ya lleva un casco de RV que cubre la cara.

Los cascos de RV de última generación están equipados con sensores adicionales de eye tracking y seguimiento labial para captar las expresiones faciales. Por ejemplo, Tobii eye tracking se ha integrado en Pico Neo3 Pro Eye, HP Reverb G2 Omnicept Edition, Pico Neo 2 Eye y HTC Vive Pro Eye. En este experimento, he utilizado los auriculares HP Reverb G2 Omnicept Edition y he aprovechado la entrada de la mirada en tiempo real para controlar la expresión de los personajes MetaHuman en aplicaciones de RV.

Exploración de expresiones y controles con la mirada

Con el rig facial MetaHuman, hay varios puntos de control para el movimiento de los ojos y la musculatura que los rodea. El tablero de control de la cara muestra cómo se mueven los músculos de los ojos al controlar la dirección de la mirada. Configuramos esto para obtener la entrada de la mirada en tiempo real desde el casco de RV para actualizar los controles de expresión de la dirección de la mirada de MetaHuman y otros puntos de control muscular para obtener expresiones de la mirada realistas.

Utilizando la dirección combinada de la mirada como entrada, la normalizamos y descomponemos para obtener el movimiento izquierda-derecha y arriba-abajo necesario para actualizar los puntos de control.

Controles de expresión del movimiento de la mirada

Los controles de expresión de la mirada en cada dirección para cada ojo toman un valor float de 0.0 a 1.0. El vector normalizado de dirección de la mirada entra en estos controles para cada ojo. Usamos la mirada combinada, un único vector en este caso, para que el mismo valor vaya para ambos ojos. Va de 0.0 cuando se mira de frente a 1.0 cuando la dirección de la mirada del usuario es máxima.

Controles de expresión de la elevación de las cejas

Además de los controles de expresión de la mirada, también probamos con controles de cejas utilizando sólo la dirección de la mirada cuando el usuario vuelve a mirar hacia arriba. No utilizamos ninguna entrada o señal adicional para las cejas y activamos esto utilizando sólo la dirección hacia arriba. MetaHuman ha desglosado los controles para levantar la ceja para la región Interior y Exterior, y se pueden ponderar por separado.

Desarrollo ulterior

En este experimento, sólo utilizamos la dirección de la mirada como entrada que actualiza alrededor de 12 puntos de control de expresión en el rig facial MetaHuman para obtener un movimiento ocular realista. Se pueden activar más puntos de control para obtener expresiones de la mirada adicionales para aplicaciones de RV.

Para futuros desarrollos y exploraciones, nos gustaría evaluar las señales de parpadeo y apertura ocular que pueden habilitar controles de expresiones para el guiño, entrecerrar los ojos, fruncir el ceño e incluso levantar las mejillas.

La señal de convergencia también puede utilizarse cuando el jugador mira objetos a distancias variables, y así el avatar es observado correctamente por otros jugadores en las mismas aplicaciones de RV.

Para terminar, creo que los avatares auténticos y expresivos serán muy deseados en el metaverso, no sólo porque los usuarios quieren evitar el efecto del valle misterioso, sino también porque desean ser representados con precisión y eficacia estén donde estén. Por lo tanto, recomiendo encarecidamente a los desarrolladores que empiecen hoy mismo a explorar las ventajas del eye tracking. Más información sobre la activación de avatares en aplicaciones sociales en nuestra Zona de desarrolladores XR . O póngase en contacto con nosotros si desea colaborar en futuros desarrollos.