사용자가 무엇을 보고 있는지 이해하기
눈 기반 입력의 복잡성을 살펴보고 내재된 한계를 극복할 수 있는 전략을 공개합니다.
스마트 글래스(또는 스마트글래스)에 대한 단일 정의는 존재하지 않습니다. 하지만 실용적인 제품 중심의 정의는 안경의 익숙한 장점과 센서, 시청각 구성 요소 및 프로세서를 통해 구현되는 추가 기능을 제공하는 머리에 착용하는 장치라고 할 수 있습니다.
이 정의에서는 다음을 제외합니다. 가상현실(VR) 및 혼합/가상현실(MR) 디바이스는 제외됩니다. 그러나 투과형 광학 장치를 사용하는 증강현실(AR) 디바이스는 포함될 수 있습니다.
스마트 글래스가 기존 안경을 포괄하는 것이 중요할까요? 스마트폰은 통화 기능을 제외할까요? 아니면 스마트워치는 시간을 알 수 없을까요? '스마트'는 원래의 기능에 더해 향상된 기능을 의미한다고 가정해 봅시다.
스마트 글래스가 실용적이 되려면 일반 안경처럼 장시간 착용할 수 있을 만큼 편안해야 한다는 점에 유의해야 합니다. 주관적으로는 크기와 무게가 일반 안경과 비슷해야 하고 어느 정도 유행에 민감해야 한다는 뜻입니다.
오늘날의 소비자 스마트 글래스는 음악 감상, 전화 걸기, 음성 비서 호출, 사진 및 동영상 촬영이 가능합니다. 디스플레이가 있는 디바이스에는 지도, 문자 메시지, 알림, 캘린더, 언어 번역과 같은 기능이 있을 수 있습니다. 이러한 응용 분야는 스마트 글래스에만 국한된 것이 아니며 스마트폰을 사용하는 사람이라면 누구나 익숙하게 사용할 수 있습니다. 스마트워치의 장점과 마찬가지로 이러한 기능에 액세스하기 위해 스마트폰을 꺼내지 않아도 된다는 점이 차이점입니다.
스마트 글래스는 스마트 워치에 비해 손을 내려다볼 필요가 전혀 없으므로 – 주변 세계와 당면한 활동에 집중할 수 있습니다. 또한 대부분의 스마트 글래스에는 스피커가 내장되어 있어 이어버드를 사용하지 않아도 되므로 상황 인식을 더욱 향상시키고 다른 사람에게 내 말을 들을 수 있음을 알릴 수 있습니다. 스마트 글래스를 사용하면 현실 세계와 단절되지 않고 디지털 라이프에 연결할 수 있습니다.
시선추적은 자연스럽고 새로운 방식의 사용자 입력을 제공하여 AI 기반 사용 사례를 가속화하고 사용성을 간소화할 수 있습니다. 또한 시선추적은 기술이 착용자에게 적응할 수 있도록 하는 센서 역할을 할 수도 있습니다.
스마트 글래스는 편리하게 배치된 카메라, 마이크 및 기타 센서를 통해 착용자의 주변 환경에 대한 엄청난 양의 정보를 수집할 수 있습니다. 따라서 스마트 글래스는 시각적 검색 및 멀티모달 대화와 같은 AI 사용 사례에 매우 적합합니다.
AI는 요청에 대한 충분한 컨텍스트가 있고 요청 내용을 명확하게 이해할 수 있을 때 더 효과적입니다. 사람을 이해하는 것이 시선추적과 같은 주의 컴퓨팅 기술의 목표입니다. 사용자 앞에 있는 장면의 이미지도 중요한 컨텍스트이지만, 사용자가 무엇에 집중하고 있는지 알면 구체적이고 효율적인 응답이 가능해집니다. 이는 일반화된 정보와 세심하고 정확한 답변의 차이를 만들어냅니다.
예를 들어, 박물관을 방문한 관람객이 그림을 보고 AI에게 "저게 뭐죠?"라고 질문할 수 있습니다. AI는 "벽에 걸려 있는 액자입니다." 또는 "구스타프 클림트의 '여인의 초상'입니다."라고 대답할 수 있습니다. 마찬가지로 "저걸 어떻게 사용하나요?"와 같은 질문도 마찬가지입니다. "케이블을 저기에 꽂아야 하나요?" "저 사람이 무엇을 들고 있나요?"와 같은 질문은 사용자의 관심 대상을 알면 덜 모호해집니다.
구글의 프로젝트 아스트라 티저 영상에서는 AI가 시각적 초점을 활용하는 예를 볼 수 있습니다. 사용자는 AI에게 "여기에 무엇을 추가하면 좋을까요?"라고 질문하면서 빨간색 화살표를 그렸습니다. 이 대답을 통해 사용자의 의도와 주의를 파악할 수 있었습니다. 만약 다이어그램이 책이나 스크린에 있거나 다이어그램이 아니라 실제 기계에 있었다면 손으로 그린 화살표는 효과가 없었을 수도 있지만, 관심 지점을 바라보는 것만으로도 효과가 있었을 수 있습니다. 시선추적을 사용하면 이러한 스타일의 주의력 강화 쿼리가 가능합니다.
구글의 프로젝트 아스트라는 주의 집중 신호를 활용하여 정확한 응답을 생성합니다.
공유 보기를 통한 이러한 종류의 지원은 원격 지원 세션 중 사람들 간의 상호 작용을 반영합니다. 사용자가 작업에 참여하는 동안 원격 전문가가 이를 지켜보며 안내를 제공합니다. 스마트 글래스를 사용하면 시선추적을 통한 주의력 인식으로 더욱 강화된 "내가 보는 것을 보는" 지원이 가능합니다.
얼굴에 디바이스를 배치할 때 가장 어려운 점은 디바이스를 제어하는 가장 좋은 방법을 찾는 것입니다. 손의 편안한 휴식 위치는 디바이스의 수동 조작과는 거리가 멉니다. 이로 인해 터치 인터랙션이 번거롭고 피곤할 수 있습니다. 일부 스마트 글래스는 무선 컨트롤러로 이러한 한계를 극복하려고 시도할 수 있지만 핸즈프리 사용 시에는 선택 사항이 아닐 수 있습니다. 음성 명령은 스마트 글래스와 상호 작용하는 편리한 방법이지만 일부 상황에서는 조용하거나 개별적인 상호 작용이 필요합니다.
시선추적은 눈으로 기기를 제어할 수 있는 가능성을 열어줍니다.
시선 방향은 보이지 않는 레이저 포인터처럼 주의를 환기하는 역할을 할 수 있습니다.
시선 + 깜박임은 인식을 제공하거나 트리거 역할을 할 수 있습니다.
이러한 제스처를 통해 스마트 글래스에 알림을 해제하거나, 시야에 보이는 QR 코드를 스캔하거나, 방금 도착한 문자 메시지를 소리 내어 읽거나, 걸려온 전화를 끊으라고 지시할 수 있습니다.
제어할 수 있는 정도는 제한되어 있습니다, 눈 제스처 은 다음과 같은 간단한 상호 작용에 적합할 수 있습니다. UI 탐색, 대화 상자 응답, 자주 사용하는 기능 활성화와 같은 간단한 상호작용에는 적합할 수 있습니다.
일부 근거리 디스플레이 기술은 디스플레이와 눈이 올바르게 정렬되었을 때만 작동합니다. 현미경이나 쌍안경을 사용할 때 눈이 작은 스위트 스팟 안에 있을 때만 선명하게 볼 수 있는 광학 오정렬을 경험한 적이 있을 것입니다. 아이 트래커는 디스플레이에 눈의 위치를 순간적으로 또는 지속적으로 정확하게 알려주어 잦은 눈의 움직임에도 불구하고 디스플레이 시스템이 선택적으로 조명을 켜거나 최적의 방향으로 스스로 조향할 수 있게 해줍니다.
최초의 iPhone이 공개되었을 때 음악 플레이어, 휴대폰, 인터넷 커뮤니케이터가 융합된 제품으로 소개되었습니다. 이 세 가지 기능 중 처음 두 가지 기능은 이미 많은 사람들의 주머니 속에 있었습니다. 인터넷 커뮤니케이터는 현재 스마트폰에서 가장 많이 사용되는 기능입니다. 2023년 퀄컴의 설문조사. 인터넷 검색과 결합된 스마트폰 덕분에 우리는 언제 어디서나 전 세계의 지식에 액세스할 수 있게 되었습니다.
스마트 글래스는 하루 종일 스마트폰에 사로잡혀 있던 손과 눈을 해방시켜 줍니다. 우리의 눈을 통해 볼 수 있는 AI 비서가 적시에 안내를 제공하고 세상을 더욱 풍요롭게 경험할 수 있게 해줄 것입니다. 스마트폰이 우리에게 지식을 가져다주었다면, 스마트 글래스는 우리가 속한 물리적 세계로 돌아갈 수 있는 노하우를 가져다줄 것입니다.
시선추적을 통해 안경 제품을 더욱 스마트하고 인간 중심적으로 만드는 방법에 대해 자세히 알고 싶으신가요? 수십 년간 시선 인식 기술을 제품에 적용해 온 토비의 경험을 공유해 드리겠습니다.
눈 기반 입력의 복잡성을 살펴보고 내재된 한계를 극복할 수 있는 전략을 공개합니다.
In this article, we'll learn how the basic UI concept of pointing requires special handling when creating interfaces with eye-based input.
This article explains how eye tracking works. We illustrate step-by-step processes of screen-based and wearable eye trackers and XR integrations.