인간과 기계의 자연스러운 상호작용 개발

카이 에식 교수가 시선추적이 인간과 기술 시스템 간의 자연스러운 사용자 인터페이스의 최첨단 개발에 어떻게 기여하는지 설명합니다.

카이 에식 교수는 독일 캄프-린트포르트에 위치한 라인-발 응용과학대학의 인간공학 및 인터랙티브 시스템 교수입니다. 그의 연구 분야는 시선추적, 시각 인식, 이미지 처리, 컴퓨터 비전, 눈과 손의 협응, 로봇 공학 등입니다. 현재 진행 중인 프로젝트는 산업 및 주거 분야의 개인 맞춤형 보조 시스템인 지능형 증강현실(AR) 안경, 가상현실(VR) 시뮬레이터, 개인 맞춤형 운전자 보조 시스템 또는 인간과 로봇의 자연스러운 상호작용을 위한 실제 연구 등에 중점을 두고 있습니다.

연구의 가장 중요한 비전은 무엇인가요?

제 연구는 인간의 주의력과 행동 양식을 연구하여 이러한 결과를 계산 모델로 전환하고 이를 기술 시스템에 적용하는 데 중점을 두고 있습니다. 이를 통해 보다 자연스럽고 직관적인 인간과 기계의 상호작용(HMI)을 구현할 수 있을 뿐만 아니라 기술 시스템이 인간의 행동을 예측하고 적절한 지원 피드백을 제공할 수 있습니다.

제가 현재 작업 중인 시스템의 예는 다음과 같습니다:

• 조립 작업에서 개별적인 문제를 예측하고 사용자에게 상황에 맞는 맞춤형 시청각 지원을 제공하여 자기 주도적 학습 과정을 가능하게 하는지능형 보조 AR 글래스입니다.

• 네덜란드의 파트너와 함께자체 개발한 VR 트럭 도킹 시뮬레이터. 이 시뮬레이터를 통해 물류 센터에서 도킹 프로세스를 수행하는 트럭 운전자의 핸들 좌표, 속도, 트럭의 위치, 도킹 스테이션까지의 거리, 시선추적 데이터 등 데이터를 지속적으로 측정합니다. 수집된 멀티모달 데이터에 머신러닝 기법을 적용하여 전문가의 일반적인 행동을 자동으로 학습합니다.

운전 경험이 적은 운전자가 시뮬레이터를 사용하면 시스템이 자동으로 운전자의 성능을 전문가와 비교하고 트럭 운전실에 설치된 태블릿을 통해 개별화된 피드백을 제공할 수 있습니다. 예를 들어, 최적의 스티어링 휠 움직임을 추천하거나 도킹 과정에 대한 관련 정보를 운전자에게 안내할 수 있습니다.

이 여정을 시작하게 된 계기는 무엇이며, 계속 동기를 부여하는 요인은 무엇인가요?

현대 기술과 개발의 다양하고 흥미로운 기술적, 방법론적 가능성을 활용하여 사람들이 신체적, 정신적 능력에 따라 자기 결정적인 삶을 영위할 수 있도록 지원하는 지능형 사용자 중심의 보조 기술을 개발하는 것이 목표입니다.

여기서 핵심은 여러 분야의 접근 방식과 다양한 방법을 혼합하여 자연스럽고 직관적인 HMI를 탐색하고 최적의 피드백 선택, 설명 가능한 결정, 자연스러운 상호작용 등 사용자의 요구 사항에 따라 최적화하는 것입니다.

전반적인 목표는 인간을 대체하는 것이 아니라 기계를 통해 인간을 지원하는 데 초점을 맞춘 긴밀한 인간-기계 팀을 위한 기술을 구현하는 것입니다. 따라서 윤리적, 법적, 사회적 영향(ELSI), 데이터 보호 측면, 개발 프로세스에 대한 사용자의 초기 참여가 필수적인 역할을 합니다.

지금까지의 연구 결과 중 가장 주목할 만한 점은 무엇인가요?

학제 간 및 국제적 접근 방식은 이러한 현재와 미래의 연구 문제를 해결하는 데 가장 적합합니다. 다양한 학문 분야에서 유사한 연구 질문을 연구하고 있지만 – 서로 다른 관점에서 이를 다루지만 전반적으로 비슷한 결론에 도달합니다.

시선추적은 다재다능하고 서로 연결되는 연구 방법으로서 많은 학제 간 연구 시나리오에서 필수적인 역할을 합니다.

실험에 시선추적을 도입하여 어떤 이점을 얻었나요?

시선추적은 제 연구에서 중요한 역할을 합니다.

• 다양한 응용 분야(예: 산업계의 조립 공정에서 건강한 사람이나 장애인 또는 적절한 작업장 시설)에서 인간의 지각 행동과 눈과 손의 협응에 대한 깊은 이해를 통해 모델링 프로세스에 대한 신뢰할 수 있는 통찰력을 얻습니다.

• 사용자의 현재 정신 프로세스에 대한 통찰력을 확보하여 적절하고 상황에 맞는 지원을 제공하는 도구로서, 예를 들어 사용자가 작업대의 개별 도구 사이에서 주의를 쉴 새 없이 이동하는 경우 시스템은 다음 작업 단계를 수행하는 데 필요한 도구를 가리킬 수 있습니다.

• 추가 연구에서는 장기기억의 정신 표상 구조(예: 스포츠)와 같은 다른 방법과 함께 안구 운동을 연구하고 있습니다. 목표는 전문성 수준(예: 정신 표상 구조의 질)에 따라 게임 플레이에서 선수의 시각 및 행동 행동에 대한 통찰력을 얻고 스포츠 초보자를 위한 교육 자료를 제공하는 것입니다.

• 자연스러운 사용자 인터페이스, 웹페이지, 모바일 환경 등 다양한 미디어의 인간 인식 및 사용성 측면을 평가하기 위한 연구(예: 상점 연구).

시선추적에 대한 풍부한 경험과 현재의 관점에서, 시선추적을 연구에 도입하려는 사람들에게 어떤 조언을 해주고 싶으신가요?

위에서 언급했듯이 시선추적은 심리학, 언어학, 사용성 연구, 디자인, 컴퓨터 과학 등 다양한 분야에서 활용되는 다용도 연구 방법입니다.

하드웨어와 소프트웨어의 주요 발전으로 인해 기술적 배경 지식이 없는 연구자들도 시선추적 기술을 사용하는 것이 점점 더 쉬워지고 있습니다. 또한 하드웨어의 개선으로 특히 원격 및 모바일 시선추적 시스템의 응용 분야가 점점 더 많이 열리고 있습니다.

이를 통해 전통적인 연구(예: 내 웹사이트나 디자인이 어떻게 인식되는가)뿐만 아니라 다양한 분야의 연구자들과의 시너지 효과를 통해 흥미로운 새로운 연구 질문(예: 직업 및 여가 환경에서의 개인화된 보조 시스템, 운전자 보조 시스템 등)을 조사할 수 있습니다.

앞으로의 포부를 업무와 함께 공유할 수 있나요? 현재 답을 찾고 있는 질문은 무엇인가요?

위에서 언급했듯이, 저의 전반적인 연구 목표는 인간과 기술 시스템 간의 자연스러운 사용자 인터페이스를 개발하여 개별 맞춤형의 예측 가능한 긴밀한 커뮤니케이션을 가능하게 하는 것입니다.

다양한 감각을 통한 자연스러운 소통이 가능하도록 인터페이스를 최적으로 설계하려면 어떻게 해야 하는지, 기술 시스템의 피드백과 의도를 사용자가 이해할 수 있도록 어떻게 설계해야 하는지, 멀티 모달 사용자 데이터로부터 시스템이 최적으로 학습하려면 어떻게 해야 하는지, 사용자가 언제든지 시스템을 중지하거나 수정할 수 있으면서도 커뮤니케이션 루프에 최적으로 통합되려면 어떻게 해야 하는지 등 아직 탐구해야 할 질문들이 많이 남아 있습니다.

이러한 점(예: 문화적 차이)은 국제 및 학제 간 팀에서 서로 탐구하고 배워야 합니다. 시선추적은 이러한 측면에서 계속해서 중심적인 역할을 할 것입니다. 저는 연구에 새로운 기여를 모색할 뿐만 아니라 이 기술을 보급하는 데에도 기여하고 싶습니다(예: 시선 비디오의 자동 주석 달기와 같은 흥미로운 응용 분야 시나리오와 평가 기법).

관련 정보

에식 박사의 연구에 대한 자세한 내용은 시선추적 기술을 사용한 연구에 관한 일부 논문을 참고하세요:

Ribeiro, P., Krause, A. F., Meesters, P., Kural, K., van Kolfschoten, J., Büchner, M. A., & Essig, K. (2021). 개인 맞춤형 운전자 지원 개발을위한 VR 트럭 도킹 시뮬레이터 플랫폼. 응용 과학, 11(19), 8911.

Lex, H., Essig, K., Knoblauch, A., & Schack, T. (2015). 축구에서 팀별 전술의인지 적 표현과인지 처리. PLoS ONE 01/2015; 10(2):e0118219.

Essig, K., Prinzhorn, D., Maycock, J., Dornbusch, D., Ritter, H., & Schack, T. (2012). 시선 추적 및 모션 캡처 시스템의 데이터를 사용하여 장면 개체에 대한 3D 시선 좌표 자동 분석. In: 시선추적 연구 및 응용 분야 (ETRA 2012), 미국 캘리포니아 주 산타 바바라.

에식 교수에 대한 자세한 정보는 다음을 방문하세요. 그의 웹 페이지.