휴먼 인포매틱스에서의 시선추적

코다 토모코 교수가 인간 정보학 강의에서 시선추적이 핵심 연구 방법인 이유를 설명합니다.

코다 토모코 교수는 오사카공업대학 정보과학기술학과 교수로 연구소를 운영하며 휴먼 인포매틱스 과정을 가르치고 있습니다.

휴먼 인포매틱스 코스에서 시선추적 활용하기

인간 정보학은 인간과 정보 시스템 간의 상호작용을 연구하는 학제 간 분야입니다. 인간이 정보를 인지, 처리, 사용하는 방식을 이해하고 이러한 지식을 적용하여 인간의 요구와 행동에 맞게 정보 기술과 시스템을 더 잘 설계하고 개선하는 것이 포함됩니다.

인터뷰 코다 토모코 교수 교수를 만나 인간 정보학 과정에서 시선추적을 효과적으로 활용하는 방법에 대해 들어보았습니다. 이 과정은 인간과 정보 시스템 간의 상호 작용을 연구하고 개선하기 위한 다양한 활동과 방법론을 포함합니다.

정보과학기술학부 미디어과학과 2학년 학생들은 토비의 아이 트래커를 활용해 인간 정보학에 대해 배우며 인간의 행동을 더 잘 이해하고 정보 시스템을 설계할 때 이 지식을 응용합니다. 학생들은 시선 데이터를 측정 및 분석하고 데이터 기반 보고서를 작성함으로써 논리적 사고 능력을 훈련하고 향후 커리어를 위한 기술을 개발합니다.

시선추적을 통해 관찰로는 포착할 수 없는 인간의 행동을 시각화할 수 있습니다.

인간 정보학에서는 인간의 기본적인 행동—감각 지각, 감정 과정, 의사소통, 움직임—을 관찰하고 분석합니다. 이러한 행동은 데이터 분석 및 계산 방법과 같은 정보학 원리를 사용하여 체계적으로 조사하여 정보 시스템과 관련된 인간공학적 요소를 파악하고 연구합니다.

휴먼 인포매틱스 과정의 첫 번째 파트에서는 모션 캡처에 대해 배우고, 두 번째 파트에서는 시선추적 기술에 집중하여 직접 실습합니다.

"많은 학생들이 컴퓨터 그래픽을 사용하는 영화에서 모션 캡처에 익숙하기 때문에 쉽게 관심을 끌 수 있어 첫 단계로 사용하기에 이상적입니다. 학생들이 모션 캡처를 통해 인간의 행동을 수치화하는 데 익숙해진 후에는 육안으로 보이지 않는 인간의 시선 행동을 포착하고 분석하여 수치로 표현하는 데 도전해 보길 바랍니다."

시선추적은 파악하기 쉽고 비침습적이며 여러 참가자를 기록하는 데 적합합니다.

피부 전도도 반응, 뇌파, 심박수 등 다른 생리적 측정 방법 대신 시선추적을 선택한 이유는 무엇인가요?

"다른 생리적 측정 방법도 있으며 심박수, 뇌파, 피부 전도도를 측정할 수 있습니다. 하지만 측정된 결과의 신호 처리가 필요한데, 2학년 학생들은 아직 이에 대한 적절한 지식을 갖추지 못했습니다. 그런 점에서 모션 캡처와 시선추적은 가장 쉽게 측정하고 분석할 수 있는 방법입니다. 특히 시선추적의 경우 비접촉식 측정으로 누구나 필요한 만큼 측정할 수 있습니다."

이 과정에서 10명의 시선추적 측정값을 수집합니다. 뇌파를 사용할 경우 각 사람에게 전극을 장착해야 하므로 주어진 시간 내에 이렇게 많은 사람을 측정하는 것은 쉽지 않습니다. 또한, 종합적인 생체 인식 분석 소프트웨어인 Tobii Pro Lab 의 가용성도 토비 시선추적 시스템을 선택하는 데 중요한 요소였습니다.

시선 데이터의 그룹 분석 및 해석

인간 정보학 과목에서 학생들은 시선추적 데이터를 분석, 해석, 발표하여 다음 세 가지 목표를 달성합니다:
a) 인간의 행동을 객관적으로 관찰, 기록, 분석한다.
b) 정보학 관점에서 인간의 특성을 논의한다.
c) 분석 결과에 대한 이론적 발표를 한다.

"네 가지 표정(혐오, 공포, 행복, 놀라움)의 정지 이미지를 각각 8초 동안 보여주고 10명의 시선 움직임을 측정합니다(그림 1). 표정 읽기와 관련된 학생들의 시선추적을 통해 사람들이 표정을 읽을 때 얼굴의 어느 부분에 주의를 기울이는지에 초점을 맞춰 어떤 유형의 분석이 가장 적합할지 고민합니다. 처음에는 학생들의 관점이 매우 직관적이며 '눈 근처를 보고 있는 것 같다' 또는 '눈 다음에 코를 보고 입과 등을 본다'와 같이 형용사와 부사로 데이터를 설명하는 방식으로 표현되는 경우가 많습니다."

휴먼 인포매틱스는 이러한 직관적이고 주관적인 관찰을 객관적으로 정량화하는 것을 강조합니다. 학생들은 직관적인 관찰을 검증하기 위해 시선추적 데이터를 분석하는 방법과 검증하고자 하는 결과를 수치로 제시하는 방법을 논리적으로 설명할 수 있도록 지도받습니다. 또한 분석 결과를 제시하기 위해 어떤 그래프(막대 그래프, 파이 차트, 스트립 그래프 등)를 사용해야 하는지 고려합니다(그림 2)."

시선추적은 학생들의 논리적 사고와 진로 탐색을 위한 효과적인 도구입니다.

코다 교수는 시선추적이 학생들의 미래 커리어에 도움이 될 논리적 사고력을 키우는 데 매우 효과적인 도구라고 생각합니다.

"정보과학부 학생들 중 많은 수가 졸업 후 시스템 엔지니어(SE)가 됩니다. SE가 사양 문서를 작성할 때는 읽는 사람 100명 중 100명이 비슷하게 이해할 수 있도록 작성해야 합니다. 휴먼 인포매틱스 보고서 작성을 통해 객관적이고 이해하기 쉬운 문서 작성법을 배우는 것은 비즈니스에도 도움이 됩니다."

코다 교수는 연구실 연구에도 시선추적을 활용하고 있습니다. 연구실 학생들이 시선으로 좀비를 물리치는 게임을 개발해 학교 축제 연구 발표회에서 선보였는데, 이 시연을 본 학생들이 이벤트에 참가한 기업으로부터 취업 제안을 받기도 했습니다.

"취업지원위원회 위원장으로서 많은 취업 준비생들을 인터뷰합니다. 어떤 학생들은 '인간정보학에서 인간 행동을 측정하고 정량화하며 논리적으로 분석하는 방법을 배웠는데, 이를 활용할 수 있는 SE가 되고 싶다'고 말하곤 합니다. 논리적 사고 연습은 엔지니어가 되고 싶다는 강한 열망의 방아쇠이자 전환점, 기회입니다."

시선추적을 이용한 코다 교수의 연구 소개

코다 교수 연구실은 사용자의 시선에 맞춘 에이전트를 개발했습니다.

코다 교수 연구실의 연구 프로젝트 중 하나는 시선추적을 사용하여 눈맞춤에 어려움을 겪는 사람들을 위한 대화 에이전트를 개발하는 것이었습니다. 예를 들어, 내성적인 사람들은 다른 사람의 시선에 민감하고 응시하는 것을 싫어하며 눈을 마주치는 것을 피합니다. 이러한 사람들에게는 대화 에이전트의 시선조차도 상당한 스트레스를 유발할 수 있습니다. 비슷한 문제에 직면한 연구실의 한 학생은 사용자의 시선 이동 행동에 적응하는 에이전트를 개발하자고 제안했습니다.

"토비의 아이 트래커로 대화 중 사용자의 시선 움직임을 측정해 에이전트를 바라보는 사용자와 눈을 맞추고, 그렇지 않은 사용자로부터 시선을 피하는 방식으로 비슷한 시선을 유지하는 대화형 에이전트를 개발했습니다."

평가 실험 결과, 내성적인 사용자 그룹은 대화 중 스트레스가 감소하고 대화 에이전트에 대한 친밀감이 높아진 것으로 나타났습니다. 내성적인 사용자의 경우 처음에는 에이전트가 눈을 마주치지 않도록 프로그래밍되어 있다가 점차 사용자를 향한 시선을 늘려 시선 공포증 완화 및 면접 연습 응용 분야 등 잠재적인 치료 효과를 입증했습니다.

자세히 알아보기 코다 교수의 연구.