home
Buscar

Las tres tecnologías más buscadas en un solo auricular

  • Blog
  • por Doug Eggert
  • 6 min

¿Qué componentes y funciones cree que es más importante desarrollar, mejorar e integrar para que XR se adopte más ampliamente?

Según la Encuesta de la Industria XR 2019, los tres principales componentes y funciones que impulsarán la adopción de XR son 1) comodidad y usabilidad de los auriculares, 2) campo de visión y 3) Eye tracking. El diseño del último casco de RV de HP, el HP Reverb G2 Omnicept Edition, cumple los tres requisitos. Con un campo de visión de 114 grados, Eye tracking, monitorización de la frecuencia cardiaca con un sensor PPG y una cámara facial para captar los movimientos de los labios, creo que este casco es una clara representación de la próxima generación de RV.

La edición Omnicept, basada en un casco ya de por sí fantástico, el HP Reverb G2, es un casco comercial capaz de captar información imparcial, lo que permite aplicaciones avanzadas de RV en formación, bienestar, diseño y colaboración.

Como director de gestión de productos de Tobii para XR OEM, el proyecto de desarrollo de este casco ha sido una gran experiencia porque me ha permitido colaborar estrechamente con HP. El objetivo de mi equipo era integrar nuestra plataforma de Eye tracking Tobii VR4, mejorando el casco con la tecnología de Eye tracking de Tobii y garantizando la fusión con los demás sensores nuevos.

En este post, comparto algunas de las ideas que hay detrás de este nuevo y excepcional auricular, por qué es relevante ahora, junto con algunas de las reflexiones y experiencias de las personas con las que colaboré en HP: Henry Wang (director de producto) y Lauren Domingo (ingeniera de campo de Software).

Generar opiniones imparciales

Uno de los elementos esenciales para la transformación digital y la optimización operativa (Industria 4.0) son los datos significativos en tiempo real. Para satisfacer la necesidad de datos, casi todas las cosas están equipadas con sensores, dispositivos discretos que generan silenciosamente billones de puntos de datos imparciales. Encabezada por HP Reverb G2 Omnicept Edition, la próxima generación de auriculares de realidad virtual incluirá sensores que crearán nuevas entradas para el desarrollo de aplicaciones.

Lauren y Henry ¿cómo ve la evolución del mundo de los sensores? HP Reverb G2 Omnicept Edition establece un nuevo estándar, pero ¿cómo evolucionarán los auriculares a partir de ahora?

Creemos en las ventajas que los sensores aportan a la RV. Este tipo de funciones basadas en sensores serán estándar en los cascos de las empresas. Por ejemplo, el eye tracking nos aporta datos sobre pupilometría y dilatación, y el PPG nos da la frecuencia cardiaca. La cámara facial es una especie de primicia en la RV. Nos permite captar la parte inferior de la cara, lo que, junto con los datos de la mirada procedentes del eye tracking, ayudará a los ISV a desarrollar avatares realistas.

Adquisición de conocimientos especializados

Imagen cortesía de HP - aprender a gestionar las situaciones de estrés
Imagen cortesía de HP - aprender a gestionar las situaciones de estrés

Uno de los efectos secundarios de la Industria 4.0, con su optimización de la productividad y la automatización, es un cambio constante en los requisitos de cualificación y una necesidad persistente de reeducación. Un estudio realizado por la Universidad de Maryland , en Estados Unidos, concluyó que las tasas de retención de información son más altas en la educación virtualizada que en el aprendizaje tradicional basado en ordenador. Me identifico con esto porque la inmersión y el realismo de algunas experiencias de RV hacen que el aprendizaje sea emocionante y memorable. La inmersión en la RV me permite centrarme en la tarea, y su autenticidad me ayuda a adquirir una comprensión práctica de los nuevos conceptos. Al añadir movimiento físico y amplitud de movimiento a la mezcla, la RV puede ayudarme, por ejemplo, a desarrollar la destreza necesaria para nuevas tareas.

Cuando se trata de habilidades especializadas, como procedimientos quirúrgicos o gestión de situaciones de estrés, parece que las personas que se forman con RV cometen menos errores que las que se educan por medios tradicionales.

Lauren y Henry El entrenamiento es una de las cuatro áreas clave identificadas para el desarrollo de este casco. Pueden hablarnos de la información que proporcionan los datos de los sensores y de por qué resulta tan atractiva para el entrenamiento en RV?

Cada sensor aporta sus propias ventajas a la RV, pero con el SDK Omnicept de HP Reverb G2 es posible combinar las entradas a un nivel superior, de modo que obtenemos salida de carga cognitiva. La carga cognitiva se aprovecha mejor en aplicaciones de formación, como el entrenamiento de pilotos o el aprendizaje de cómo actuar en situaciones de emergencia, como un escape de gas. La carga cognitiva permite adaptar la formación, por ejemplo, añadiendo más contexto a una situación o permitiendo al usuario retroceder e intentar algo más sencillo. Proporcionar a los desarrolladores los datos necesarios para garantizar el éxito de la formación de los empleados ha sido una de nuestras motivaciones. La retroalimentación de los sensores y el eye tracking proporcionan los datos para calibrar el rendimiento de la formación, evaluar si una persona ha adquirido los conocimientos necesarios, cuáles son sus reacciones, sacar el máximo partido de cada minuto de formación, maximizar la productividad volviendo a poner al ser humano en el centro. No de talla única. Sino personalizada.

Aprovechar las respuestas de los usuarios

La fusión de sensores diferencia a HP Reverb G2 Omnicept Edition del resto de auriculares. Los datos agregados de los sensores ayudarán a los desarrolladores de aplicaciones a personalizar la experiencia de RV aprovechando las respuestas naturales del usuario, eliminando las barreras y la aprensión que algunas personas asocian con la Realidad virtual/mixta.

Imagen cortesía de HP - HP Reverb G2 Omnicept Edition, vista ampliada
Imagen cortesía de HP - HP Reverb G2 Omnicept Edition, vista ampliada

Puede que no siempre nos demos cuenta, pero normalmente nos presionamos más allá de nuestra capacidad para procesar información nueva en situaciones desconocidas. Con la práctica, nos familiarizamos y nuestra carga cognitiva disminuye hasta niveles manejables. La RV ofrece un espacio controlado para practicar, un entorno realista y seguro en el que podemos repetir, aprender y minimizar los errores.

Lauren y Henry ¿podría explicarnos por qué decidió incluir el Eye tracking en estos auriculares?

Empezábamos a ver un aumento de nuevos casos de uso, sobre todo en el ámbito empresarial, en los que el eye tracking sería una tecnología necesaria para poder contextualizar las experiencias. Y, sinceramente, nuestros clientes nos lo han estado pidiendo. Desde que anunciamos el HP Reverb G2 en mayo, una de las preguntas más habituales que nos han hecho es si va a haber una versión con eye tracking. Es estupendo que ahora podamos decir que sí a esa pregunta, ¡y mucho más!

XR: un catalizador para la colaboración digital

El repentino cambio a trabajar desde casa ha contribuido a mitigar el impacto económico de la COVID-19. La aparición de la HP Reverb H2 Omincept Edition es un testimonio de la capacidad humana para colaborar en nuevas circunstancias. Y los dos últimos meses han puesto de manifiesto la necesidad de modernizar y mejorar la colaboración virtual. Las estimaciones varían, pero hasta el 40% de los puestos de trabajo en EE.UU. podrían ser a domicilio. Tras la pandemia, parece probable que entre el 20% y el 30% (frente al 5% anterior a la pandemia) de los trabajadores sigan trabajando desde casa.

Este cambio ha creado una oportunidad para que XR ofrezca un conjunto avanzado de herramientas de colaboración digital que incorporan expresiones faciales, lenguaje corporal y tono de voz. Mejorada con los datos necesarios para interpretar los movimientos musculares y las señales visuales para una interacción natural, HP Reverb H2 Omnicept Edition sitúa la colaboración en RV en una nueva trayectoria.

En un escenario de colaboración, en el que la gente trabaja junta en un diseño, por ejemplo un modelo de coche o algo así, si puedes ver que tú y tus colegas estáis mirando lo mismo, la experiencia es mucho más natural. El lenguaje corporal y el contacto visual nos ayudan a interpretar las situaciones, pero hasta ahora no era posible leer la cara de alguien en la realidad virtual. Hoy estamos permitiendo a los desarrolladores dar ese primer paso hacia la emulación de la expresión, convirtiendo potencialmente la RV en la mejor forma de colaborar fuera del cara a cara".

Desarrollo conveniente

Imagen cortesía de HP - evaluación de la carga cognitiva
Imagen cortesía de HP - evaluación de la carga cognitiva

Para conseguir que el eye tracking y otros sensores se comuniquen y generen datos sin sesgar, no es raro que los ingenieros tengan que aplicar soluciones alternativas combinando manualmente las tecnologías existentes. Con HP Reverb G2 Omnicept Edition ya no tendrán que hacerlo. Este auricular permite obtener información con un dispositivo comercial sin necesidad de recurrir a estas soluciones.

Lauren y Henry ¿puede decirnos lo fácil que es empezar a desarrollar aplicaciones que aprovechen la funcionalidad de los auriculares HP Reverb G2 Omnicept Edition?

Los comentarios de nuestros primeros desarrolladores muestran que se tarda unos 20 minutos en configurar y empezar a recibir datos de la plataforma. Por supuesto, los desarrolladores tardarán un poco más en crear nuevas aplicaciones. Por eso hemos creado una base de conocimientos, entradas de blog y un portal de desarrollo para ayudar a los desarrolladores a entender lo que pueden hacer con la carga cognitiva, pero también queremos que sean creativos. Estamos impacientes por ver qué van a hacer los desarrolladores con nuestros nuevos auriculares y los conocimientos que ofrecen".

Renderizado dinámico foveated

En estos momentos, estamos evaluando la tecnología Tobii Spotlight for Foveated Rendering en el HP Reverb G2 Omnicept Edition. Las pruebas iniciales muestran resultados notables, con un ahorro medio de carga de sombreado cercano al 66%¹. Este nivel de ahorro ofrece a los desarrolladores la oportunidad de aumentar la claridad visual y el rendimiento de las aplicaciones donde más se necesita.

Esta prueba también respalda nuestra afirmación sobre la estrecha relación entre las ventajas del renderizado foveated y el aumento de la resolución de pantalla.

Lauren y Henry ¿Qué opina de nuestra tecnología de renderizado foveated?

Pues bien, la RV para PC sigue siendo el mejor lugar para disfrutar de la experiencia de RV más envolvente, con la máxima fidelidad, todas las texturas y el número de polígonos deseado. Ahora podemos mejorar aún más esa experiencia con el renderizado foveated. Y, por supuesto, el Eye tracking y la tecnología Tobii Spotlight son las herramientas que lo hacen posible. Nos permite liberar recursos en la GPU del usuario, y los desarrolladores pueden aprovecharlos y aplicarlos donde más importa. Vamos a tener un plugin en nuestro SDK para ayudar a formar a nuestros desarrolladores en el uso del renderizado foveated.

Aunque este post no es un análisis del HP Reverb G2 Omnicept Edition, no creí que estuviera completo sin algunos datos. En cuanto a la forma, estos auriculares tienen los mismos componentes básicos que los HP Reverb G2, con la misma pantalla de gran nitidez y las lentes líderes del sector de Valve. Lo que distingue a este casco es la fusión de sensores, que combina datos sin procesar de la plataforma de eye tracking Tobii VR4 integrada con sensores PPG y de cámara facial para ofrecer un análisis de la carga cognitiva.

Comentarios finales de Lauren y Henry:

La próxima generación de XR consiste en añadir algo más a la experiencia de RV, más allá de la inmersión. Estamos avanzando hacia la interacción bidireccional, las experiencias adaptativas y la retroalimentación a la empresa, proporcionando información sobre lo que está sucediendo durante la experiencia. Y estamos sentando un precedente sobre cómo hacerlo teniendo en cuenta la seguridad y la privacidad.

Más información sobre Eye tracking de Tobii y HP Reverb G2 Omnicept Edition .

Escrito por

  • Doug Eggert

    Doug Eggert

    VP of XR, Tobii

    In my role, I get to work directly with headset manufacturers, helping them integrate eye tracking into their hardware. My focus is the introduction of eye tracking for effortless interaction and immersion in virtual and mixed reality as well as enabling more capable devices with solutions such as foveated rendering and analytics. Personally, I am excited about the future of spatial computing, which helps me greatly in my role because I am passionate about working closely with our customers and engineering team to drive the widespread adoption of eye tracking in XR.

En colaboración con

  • Lauren Domingo

    Lauren Domingo

    field software engineer, HP

    Lauren is a HP field software engineer supporting XR software developers based in Ft. Collins, Colorado. You can find her at hp.io/xr or hp.io/omnicept — the HP XR and HP Omnicept developer portals that host the Omnicept SDK, forum, XR blog, documentation, and more.

  • Henry Wang

    Henry Wang

    product manager in the XR group, HP

    Henry is a product manager in the XR group at HP based in Fort Collins, Colorado. He can be found replaying through levels of Half-Life: Alyx or discovering the latest innovative enterprise use case of VR in his HP Reverb G2 headset.

Contenidos relacionados