VR에서의 인지 부하 측정 - 세 가지의 힘

이번 혁신의 눈 이야기에서는 디지털 환경을 위한 신경심리학적 인사이트를 개발하는 오스트리아 스타트업인 SOMAREALITY( — )의 전략 파트너십 디렉터 줄리아 컨과 이야기를 나눴습니다.

저는 2022년 후반, ChatGPT와 다른 생성형 AI 봇이 헤드라인을 독점하고 있을 무렵에 Kern을 만났습니다. 올해 초 GPT-4의 출시를 몇 달 앞두고 저는 이 멀티모달 언어 모델이 우리가 일하고, 배우고, 생활하는 방식에 가져올 포괄적인 변화에 놀라움을 금치 못했습니다. GPT-4가 "다양한 직업적, 학문적 벤치마크에서 인간 수준의 성과를 보여주는" 방식을 보면서 인간의 인지 능력을 얼마나 이해하고 있는지, 학습 효율성과 효과를 얼마나 빠르게 향상시킬 수 있는지에 대해 생각해 보게 되었습니다(저만 그런 것은 아닐 것입니다).

Kern과 이야기를 나누면서 시선추적을 기반으로 한 최초의 디지털 바이오마커인 인지 부하에 대한 관심이 높아지는 추세와 회사가 이러한 트렌드를 어떻게 활용했는지에 대해 이야기했습니다. 이 포스팅에서는 VR에서 인지 부하를 측정하는 방법, 교육과 헬스케어의 이점, 그리고 세 가지 — 노하우와 VR, 시선추적( — )의 힘으로 어떻게 소마리얼리티가 어디서나 누구나 신경학적 인사이트를 계산할 수 있는 강력한 솔루션을 구축할 수 있었는지 Kern의 통찰을 공유하고자 합니다.

인지 부하에 대한 관심 증가

ChatGPT에 인지 부하의 정의를 요청하면 다음과 같이 응답합니다:

"인지 부하는 작업 기억에서 정보를 처리하는 데 필요한 정신적 노력 또는 자료의 양을 의미합니다. 이는 사람이 작업을 완료하거나 문제를 해결하는 동안 얼마나 많은 정보를 효과적으로 처리하고 기억에 유지할 수 있는지를 측정하는 척도입니다."

과학계는 특히 학습, 인터페이스 디자인, 헬스케어와 같은 응용 분야에서 인지 부하에 대한 이해의 폭을 넓히고자 노력하고 있습니다. 대중의 인식 또한 중요한 요소입니다. 신경 퇴행성 질환은 인구 고령화에 따라 점점 더 널리 퍼지고 있으며, 대부분의 사람들의 삶에 영향을 미치고 있습니다. 정부와 기관들은 장수와 인지 관련 연구에 자금을 쏟아 부으며 기술 업계가 혁신적인 조기 발견 및 치료 솔루션을 개발할 수 있는 기회를 창출하고 있습니다. 그러나 개인의 학습 능력이나 건강 및 웰빙에 대한 인사이트를 제공하는 것을 목표로 하는 솔루션 — 수동 또는 전산화 — 은 긍정적인 결과를 보장하기 위해 좋은 데이터와 잘 정립된 연구가 필요합니다.

VR에서 인지 부하 측정하기 — 노하우

Kern은 다음과 같은 연구에 대해 설명합니다. 과제 유발 동공 반응 동공 크기와 인지 과정에 대한 요구 사이의 선형 관계를 보여줍니다. 요구가 증가하면 우리의 눈은 우리가 통제할 수 없는 작은 무의식적 동공 변동( — )으로 반응합니다. 그녀는 우리가 이러한 움직임에 영향을 미칠 수 없기 때문에 동공 크기가 인지 부하에 대한 신뢰할 수 있고 정량화 가능한 바이오마커가 될 수 있다고 말합니다.

빛에 노출되면 동공의 크기에도 변화가 생기는데, 동공광반사(PLR) — 는 밝은 상황에서는 작아지고 어두운 상황에서는 커집니다. 따라서 VR 환경에서 인지 부하를 정확하게 측정하려면 신경학적 영향과 빛으로 인한 동공 크기 변화를 구분해야 하며, 이를 VR 디스플레이의 휘도로 계산할 수 있다고 Kern은 설명합니다.

VR

전달 방법으로서 VR은 여러 가지 장점을 제공합니다. 폐쇄된 환경은 외부 영향을 차단하는 데 도움이 되므로 다른 사람, 이벤트 또는 사물에 대한 반응이 아닌 실제 인지 부하를 측정한다는 사실을 알고 안심하고 인지 부하를 평가하는 데 사용할 수 있습니다. 그리고 이동성이라는 요소는 필요한 지점에 테스트 기능을 제공하지만, VR이 기존 컴퓨팅보다 우위를 점하는 것은 현실감과 현장감이라고 생각합니다. VR은 가능한 한 현실에 가까운 환경에 사람들을 배치하므로 인지 부하 평가 결과가 기술적으로 가능한 한 정확할 것입니다. 예를 들어 VR을 사용하면 사람들이 선택한 직업에서 겪을 수 있는 스트레스가 많은 경험에 대비할 수 있습니다. 시선추적은 다른 플랫폼에서 인지 부하를 계산하기 위한 데이터를 제공할 수 있지만, VR은 추가 하드웨어나 센서 없이도 동작, 심박수, 피부 반응과 같은 유용한 감각 정보( — )를 제공할 수 있습니다.

동안 소마리얼리티 는 독점적인 인지 부하 알고리즘을 하드웨어에 구애받지 않도록 설계했지만, 실제로는 고급 시선추적 신호의 필요성으로 인해 소마리얼리티는 피코 네오 3 프로 아이 헤드셋( — )을 개발하게 되었습니다. 이 플랫폼은 자유로운 이동성, 처리 능력, 토비의 내장 시선추적 기능, 유리한 비용/가치 비율로 인해 개발자들 사이에서 인기를 얻고 있습니다.

왜 Tobii Ocumen과 파트너가 되어야 하는가 — 시선추적 기술

토비를 선택한 이유를 묻자 컨은 이렇게 답했습니다: 토비는 이미 많은 파트너와 고객들에게 시선추적 분야에서 오랜 기간 연구한 품질로 잘 알려져 있기 때문에 VR 분야로 사업을 확장하는 데 가장 적합한 선택이었습니다.

인지 부하를 평가하기 위해 SOMAREALITY 알고리즘은 다음에서 제공하는 실시간 동공 직경 측정값을 활용합니다.Tobii Ocumen. 컨은 Tobii Ocumen이 제공하는 데이터의 견고성과 세분성은 피코 네오 3 프로 아이 VR 헤드셋의 이동성 및 처리 능력과 함께 강력한 조합이라고 말합니다.

Tobii Ocumen으로 개발을 고려하고 있다면 어떤 종류의 데이터를 기대할 수 있는지 알고 싶을 것입니다. 이 경우, 시선 벡터 및 원점과 같은 표준 시선추적 데이터 외에도 동공 직경 및 시선 — 과 같은 고급 메트릭을 각 눈별로 구분하여 제공하도록 Tobii Ocumen을 설계했다고 말씀드릴 수 있습니다. 또한 필터 라이브러리, 데이터 기록 및 재생 기능과 같은 기능을 통합하여 제품을 쉽게 사용할 수 있도록 노력했습니다. 올바른 바이오마커를 정확하게 측정함으로써 저희는 전문성을 최대한 활용하고 솔루션 개발자가 자신의 노하우를 최대한 활용할 수 있도록 지원합니다.

그렇다면 이 강력한 트리오의 노하우와 VR, 시선추적을 통해 무엇을 할 수 있을까요?

학습 및 기술 교육

Kern에 따르면 VR 환경에서 학습한 새로운 기술의 유지율은 기존 환경의 최대 4배에 달할 수 있다고 합니다. 인지 부하 알고리즘은 VR 학습 시나리오를 사용자 행동에 맞게 조정하는 기능을 추가하여 학생이 이상적인 학습 상태에 있을 때 학습이 이루어지도록 최적화합니다. 예를 들어 학습 응용 분야에서는 이 알고리즘을 활용하여 학생의 인지 상태에 대한 피드백을 제공함으로써 학생이 지루해하거나 과부하가 걸리는 것을 방지할 수 있으며, 강사(또는 응용 분야)는 이에 따라 콘텐츠를 조정하는 데 사용할 수 있습니다.

헬스케어 및 웰빙

인지 부하는 뇌 활동의 지표이므로 개인 맞춤형 치료, 원격 임상 시험, 신경 퇴행성 질환의 조기 발견 등 다양한 응용 분야에서 소마리얼리티의 기술을 사용할 수 있습니다. 이 솔루션이 빠르게 발전하여 알츠하이머와 같은 질병의 발병을 지연시키고 수백만 명의 사람들과 그 가족에게 안도감을 줄 수 있기를 바랍니다.

게임 쇼케이스

두 개의 미니 게임 — Flying Colors와 Soma Math — 를 개발하여 VR에서 인지 부하 평가가 어떻게 작동하는지 보여주었습니다. 제가 모바일에서 플레이했던 Lumosity의 비슷한 게임인 Train of Thought와 비교했을 때, Flying Colors는 다양한 수준의 인지 부하를 표시하는 보다 포괄적인 시각적 차트를 제공합니다. 이 차트는 인지 능력의 다양한 측면을 훈련하는 다른 게임과 비교할 수 있어 인지 능력에 대한 보다 미묘한 이해를 제공합니다.

요점, 세 가지의 힘

— 이야기를 나누면서 기술이 얼마나 복잡한지 깨달았지만, 시선추적에 집중하고 모든 사람에게 강력한 데이터를 제공하는 토비, 편리하고 현실적인 측정을 지원하는 강력한 컴퓨팅 플랫폼을 제공하는 OEM, 인지 과정에 대한 지식을 활용하는 소마리얼리티( — )와 함께 전문성을 분리하면 많은 사람들의 삶을 변화시키는 혁신적인 솔루션을 개발할 수 있습니다.

Kern은 또한 차세대 디지털 응용 분야를 인식하고 적응할 수 있게 하여 역량을 강화하려는 계획을 공유했습니다. 이들의 로드맵에는 인지 기능을 측정하고 인지 부하 평가를 활용하여 참여도와 유지율을 높이는 적응형 훈련 프로그램을 개발하는 실험이 포함됩니다. 소마리얼리티는 초기 인지 부하 알고리즘에 이어 주의력 및 기타 인지 과정을 포함하도록 디지털 바이오마커 포트폴리오를 확장할 계획입니다. 이러한 프로젝트와 실험의 결과가 기대되며, 이 흥미로운 주제에 대해 시간을 내어 이야기를 나눠준 Julia에게 감사의 인사를 전하고 싶습니다.