Por qué las smart glasses necesitan eye tracking

¿Qué son las smart glasses?

No existe una definición única de smart glasses (o smartglasses). No obstante, una definición práctica orientada al producto podría ser la de dispositivos que se llevan en la cabeza y que ofrecen las ventajas conocidas de las gafas y capacidades adicionales habilitadas por sensores, componentes audiovisuales y procesadores.

Esta definición excluye los dispositivos de realidad virtual (RV) y de realidad mixta (RM ) que utilizan vídeo transparente para ver el mundo. Sin embargo, podría incluir los dispositivos de Realidad Aumentada (RA) que utilizan óptica transparente.

¿Es importante que las smart glasses engloben a las gafas convencionales? ¿Un smartphone excluiría la capacidad de llamar? ¿O un smartwatch sería incapaz de dar la hora? Supongamos que "inteligente" significa una mejora de la funcionalidad original.

Hay que señalar que las smart glasses, para ser prácticas, deben ser lo bastante cómodas como para llevarlas durante largos periodos, como las gafas normales. Subjetivamente, implica que el tamaño y el peso deben parecerse a los de unas gafas normales y, hasta cierto punto, incluso estar a la moda.

¿Qué pueden hacer las smart glasses?

Las smart glasses de consumo actuales permiten escuchar música, hacer llamadas, invocar asistentes de voz y hacer fotos y vídeos. Los dispositivos con pantalla pueden tener funciones como mapas, mensajes de texto, notificaciones, calendarios y traducción de idiomas. Estas aplicaciones no son exclusivas de las smart glasses y deberían resultar familiares a cualquiera que tenga un smartphone. La diferencia es que no es necesario sacar el smartphone para acceder a esas funciones, como ocurre con las ventajas de los smartwatches.

En comparación con los smartwatches, las smart glasses no requieren que bajes la vista para nada: tu atención puede permanecer en el mundo que te rodea y en la actividad que estés realizando. La mayoría de las smart glasses incorporan altavoces, por lo que puede prescindir de los auriculares, lo que aumenta aún más su conocimiento de la situación y demuestra a los demás que puede oírles. Las smart glasses te permiten estar conectado a tu vida digital sin desconectarte del mundo físico.

¿Cómo utilizan las smart glasses el eye tracking?

Eye tracking puede proporcionar formas naturales y novedosas para la entrada de datos del usuario, acelerando los casos de uso impulsados por IA y agilizando la usabilidad. También puede actuar como sensor para que la tecnología se adapte al usuario.

IA contextual y comprensión del lenguaje

Las smart glasses pueden recoger una enorme cantidad de información sobre el entorno del usuario a través de cámaras, micrófonos y otros sensores convenientemente colocados. Esto hace que las gafas sean idóneas para casos de uso de la IA como la búsqueda visual y la conversación multimodal.

La IA es más eficaz cuando tiene un contexto amplio para una petición y puede entender claramente lo que se le pide. Entender a las personas es el objetivo de tecnologías informáticas de atención como el eye tracking. Aunque una imagen de la escena que tiene delante es un contexto valioso, saber en qué está concentrado el usuario permite dar respuestas específicas y eficaces. Marca la diferencia entre la información generalizada y las respuestas atentas y precisas.

Por ejemplo, un visitante de un museo puede mirar un cuadro y preguntar a la IA: "¿Qué es eso?". La IA podría responder: "Son obras de arte enmarcadas que cuelgan de una pared" o "Eso es Retrato de una dama de Gustav Klimt". Del mismo modo, preguntas como "¿Cómo se usa eso?" "¿Enchufo el cable ahí?". "¿Qué sostiene?" son menos ambiguas cuando se conoce el objeto de atención del usuario.

En el vídeo de presentación del Proyecto Astra de Google, vemos un ejemplo de enfoque visual aprovechado por la IA. El usuario dibujó una flecha roja mientras preguntaba a la IA: "¿Qué puedo añadir aquí...?". La respuesta reveló una comprensión de la intención y la atención del usuario. Si el diagrama hubiera estado en un libro o en una pantalla, o no hubiera sido un diagrama sino una máquina física, una flecha dibujada a mano no habría funcionado, pero mirar simplemente al punto de interés sí. Eye tracking permitiría este tipo de consulta con atención.

Este tipo de asistencia con visión compartida refleja la interacción entre personas durante una sesión de asistencia remota. El usuario está inmerso en una tarea, mientras un experto a distancia observa y orienta. Las smart glasses permiten "ver lo que yo veo", con la atención que proporciona el eye tracking.

Gestos con los ojos

Uno de los retos de tener un dispositivo situado en la cara es averiguar la mejor manera de controlarlo. La posición de reposo relajada de nuestras manos está lejos de cualquier control manual del dispositivo. Esto puede hacer que las interacciones táctiles resulten engorrosas y cansadas. Algunas smart glasses intentan superar esta limitación con mandos inalámbricos, pero eso puede no ser una opción durante el uso con manos libres. Los comandos de voz son una forma cómoda de interactuar con las smart glasses, pero algunas situaciones requieren interacciones silenciosas o discretas.

Eye tracking abre la posibilidad de controlar el dispositivo con nuestros ojos.

• La dirección de la mirada puede actuar como un puntero láser invisible para indicar atención.

• La mirada + el parpadeo pueden proporcionar reconocimiento o servir como disparador.

Estos gestos pueden indicar a las smart glasses que descarten un recordatorio, escaneen un código QR a la vista, lean en voz alta el mensaje de texto que acaba de llegar o cuelguen una llamada activa.

Aunque el grado de control es limitado, los gestos oculares pueden ser apropiados para interacciones sencillas como la navegación por la interfaz de usuario , las respuestas a diálogos y la activación de funciones de uso frecuente.

Pantallas adaptables

Algunas tecnologías de visualización cercana al ojo sólo funcionan cuando la pantalla y el ojo están correctamente alineados. Es posible que alguna vez haya experimentado una desalineación óptica al utilizar un microscopio o unos prismáticos que sólo le permiten ver con claridad cuando el ojo está dentro de un pequeño punto óptimo. Un Eye tracker puede indicar a la pantalla dónde se encuentra exactamente el ojo, de forma momentánea o continua, lo que permite al sistema de visualización iluminarse de forma selectiva o dirigirse en la dirección óptima a pesar de los frecuentes movimientos oculares.

Los smartphones lo hacen todo. ¿Necesitamos realmente smart glasses?

Cuando se dio a conocer el iPhone original, se presentó como la fusión de un reproductor de música, un teléfono móvil y un comunicador por Internet. De esas tres funciones, las dos primeras ya estaban en los bolsillos de mucha gente. El comunicador por Internet es ahora la función más utilizada de los smartphones, según un estudio de Qualcomm para 2023 . Los smartphones emparejados con la búsqueda en Internet nos dieron acceso en cualquier momento y lugar al conocimiento del mundo.

Las smart glasses pueden liberar las manos y los ojos cautivos durante horas al día de los teléfonos inteligentes. Los asistentes de inteligencia artificial, capaces de ver a través de nuestros ojos, nos guiarán en todo momento y enriquecerán nuestra experiencia del mundo. Donde los smartphones nos trajeron el conocimiento, las smart glasses nos traerán el saber hacer y nos permitirán volver al mundo físico al que pertenecemos.