AI: 실제 지능!

또 다른 날, 인공지능 모델의 예측 정확도에 대한 또 다른 진전을 보고하는 기사가 메일함에 도착했습니다. 헬름홀츠 뮌헨의 연구원들이 만든 Centaur라는 이 모델은 인간의 사고를 모방하고 "놀라운 정확도"로 의사 결정을 예측한다고 주장합니다.¹.

이 게시물은 알고리즘이 사용하는 학습 데이터, 즉 "Psych-101"이라는 데이터 세트에는 160개의 행동 실험에 참여한 60,092명의 참가자로부터 수집된 1,000만 개 이상의 의사 결정이 포함되어 있습니다.

멋지지 않나요? 하지만 바로 이 지점에서 잠시 멈춰서 생각해 보시기 바랍니다. 심리학 연구 논문을 읽어본 적이 있는 사람이라면 모든 학술 연구의 참여자 대부분이 심리학 학생이라는 사실을 알고 있을 것이며, 심리학 학위 과정에서 논문을 비평할 때 언급하도록 배우는 표준 비평 중 하나이기도 합니다.

이것이 왜 중요한가요?

간단히 말해서, 세계에서 가장 좋은 의지로 심리학 학생들은 일반 대중을 대표하지 않습니다.²이것이 많은 실험실 기반 연구가 실제 세계는 말할 것도 없고 다른 실험실에서조차 복제하는 데 어려움을 겪는 이유 중 하나입니다. — 많은 심리학 연구의 결과는 참여자 및 해당 연구에 사용된 정확한 조건과 직접적으로 연관되어 있기 때문입니다.

미디어, 쇼퍼, 길 찾기, 휴먼 퍼포먼스, 응용 분야/인터페이스 최적화 등 관심도 연구의 세계는 ChatGPT 버전 1.0이 세상에 공개된 이후 3년 동안 거의 모든 분야에서와 마찬가지로 AI 예측 모델의 인기가 높아졌습니다.사실 관심도 예측 모델은 그보다 훨씬 오래 전부터 존재해 왔으며, 특히 Itti & ^Koch3에서 처음 제안한 것과 같은 시각적 주목도 모델은 2001년부터 그 인기와 수가 증가해 왔습니다.흥미롭게도 이 모델들은 실제로 시선 움직임을 예측하기 위한 것이 아니라, 나중에 다시 설명하겠지만, 시선추적 히트맵과 매우 흡사한 공간 맵으로 시각화된 주의 할당 가능성을 예측하는 모델이었으며, 지금도 마찬가지입니다.

솔직히 말해서, 이러한 초기 모델에 대한 저의 경험은 시청의 첫 1-2초 동안의 비자발적 주의를 매핑하는 데는 훌륭했지만 자발적 주의를 매핑하는 데는 비참하게 실패하는 경향이 있었기 때문에 다소 인상적이지 않았습니다. 안구 운동은 주로 자극이 아닌 과제에 의해 주도된다는 사실을 수십 년 동안 알고 ^{있었습니다3}. 최근에는 데이터 유형이 확대되어 대부분의 단순한 시선추적 연구에 따르면, 다양한 생체 및 행동 마커를 사용하여 방대한 데이터 세트에 대해 학습된 AI 알고리즘 덕분에 정교함이 크게 향상되었습니다.

다소 긴 서문을 마치고 이 글의 주요 질문으로 넘어가 보겠습니다...

좋은 점

먼저, 특정 모델이나 알고리즘을 언급하지 않겠습니다. 이 포스팅을 위한 연구의 일환으로 여러 주요 알고리즘을 사용해보고 여러 주요 상업 업체의 담당자와 이야기를 나누었으므로 개인적인 의견을 원하시면 언제든지 저에게 직접 문의하시기 바랍니다. 대신 알고리즘이 일반적으로 어떤 점에서 좋은지에 대해 논의하겠습니다.

모든 인공 지능과 마찬가지로 알고리즘은 학습된 데이터만큼만 우수합니다. 데이터에 편향성이 있다면 알고리즘의 결과에 거의 확실하게 반영되므로 투자하기 전에 모든 제공업체에 이 질문을 해볼 가치가 있습니다.

즉, 이러한 알고리즘은 일반적으로 매우 우수한 예측 "평균" 관심도, 즉 특정 참여자 세분화나 특정 작업이 없을 때의 관심도를 예측합니다. 따라서 디자인 초기 단계의 테스트나 도구로 사용하기에 좋습니다. 저는 모든 디자이너가 고객에게 옵션을 제시하기 전에 이 도구를 사용하여 콘셉트를 테스트해야 한다고 생각합니다. 기본적으로 이 도구는 경쟁의 장을 평평하게 만들어주므로 자신과 다른 사람의 디자인을 모두 "상식"즉, 수년간의 신경과학 연구를 바탕으로 주의력이 어떻게 작동하는지에 대한 지식을 의미합니다. 시각 과학/주의력 전문가가 단순히 연구 지식만으로는 파악할 수 없는 알고리즘의 예측을 아직 본 적이 없지만 저 같은 사람은 저렴하지도 않고 항상 구할 수도 없기 때문에 스타트업이 대형 FMCG 기업과 같은 방식으로 사전 테스트를 할 수 있는 기회를 AI가 제공한다는 의미입니다.

하지만 여기에는 문제가 있습니다...

나쁜 점

...사실, 몇 가지 문제가 있습니다.

• 현재의 AI 모델은 이미 알려진 지식을 기반으로 하기 때문에 디자인에 대한 획기적인 인사이트를 제공할 가능성은 매우 낮습니다. 이러한 종류의 인사이트는 일반적으로 적절한 참여자와 시선추적 또는 뇌파 같은 객관적인 방법론뿐만 아니라 일부 정성적 요소를 갖춘 혁신적인 연구 패러다임에서만 얻을 수 있습니다.

• "이미 알려진 것"은 실제로 특정 요구 사항과 전혀 관련이 없을 수 있습니다. 관심도 예측 모델은 참여자 데이터를 기반으로 학습되므로 관련성이 있으려면 해당 참여자가 사용자 기반 또는 타겟 고객과 일치해야 합니다. 예를 들어 제품 리브랜딩을 시작하면서 "기존 고객을 소외시키지 않고 고객 기반을 늘리려면 어떻게 해야 할까?"라는 질문이 있는 경우 이를 달성하기 어려울 수 있습니다.' 이와 같은 질문은 일반적으로 시장 조사에서 셀이라고 하는 특정 참가자 그룹을 대상으로 테스트하고 결과를 비교해야 합니다. 현재로서는 AI 모델이 할 수 없는 일이며, 실제로 고객 기반을 기반으로 현지에서 학습된 버전의 모델이 필요할 것입니다.

• 서론에서 언급했듯이, 주의력 예측 알고리즘은 무의식적 주의력 예측에 매우 능숙한 시각적 주의력 모델 – 즉, 눈에 띄거나 눈에 띄는 것에 자동으로 끌리는 주의력입니다. 따라서 밝기, 색상, 동작, 심지어 오디오 자극의 음량과 음높이의 영향은 일반적으로 이러한 모델에서 잘 예측되었습니다.³하지만 안타깝게도 이들 중 상당수는 자발적 주의의 역할을 간과했는데, 자발적 주의는 작동하는 데 시간이 조금 더 걸리고, 일반적으로 장기적으로(약 2초 이후) 주의 할당을 지배하며, 작업 목표, 의도, 보상, 선호도 및 욕구와 같은 높은 수준의 인지 과정에 의해 유도됩니다.물론 이러한 과정은 연구 질문과 참가자의 맥락에 따라 매우 다양하며, 시간이 지나고 반복적으로 노출되면 달라질 수 있으므로 일반화된 참가자 집합에 기반한 작업 지식이 없는 단순한 예측은 그다지 많은 것을 알려주지 않습니다!

• 마지막으로, 사실 매우 중요한 것은 앞서 언급했듯이 예측주의 모델은 시선 움직임을 예측하기 위한 것이 아니며, 솔직히 말해서 오늘날에도 여전히 그렇지 않습니다. 즉, 실제 시선 움직임(예: 고정 순서, 지속 시간, 관심 영역으로의 복귀 또는 텍스트 처리의 경우 퇴행)이 있는 경우 이러한 모델은 도움이 되지 않으므로 시선 추적기를 사용해야 합니다. 아이 트래커많은 분들이 관심 있는 것은 주의라는 고차원적인 개념이기 때문에 문제가 되지 않을 수도 있지만, 시선추적과 주의가 같은 문장에서 자주 사용되는 이유는 위에서 언급한 것과 같은 측정이 디자인에서와 같은 모호성이나 혼란과 같은 문제를 이해하는 데 필수적이기 때문입니다. 인간 수행 연구에서 초보자와 전문가의 차이를 나타내는 것은 종종 무의식적인 눈 움직임을 자동으로 사용하는 것이기 때문이죠.

기회

"이러한 예측 관심도 모델이 귀찮게 할 가치가 있을까요?" 처음에 언급했듯이 몇 년 전에 이러한 모델을 연구하기 시작했을 때 제 대답은 "아니오"였을 것입니다. 그러나 이것은 우리가 이야기하는 기술이며 결코 멈춰 있지 않습니다. 이러한 알고리즘 중 일부는 지난 5년 동안 거의 인식 할 수 없을 정도로 개선되었지만 위에서 언급 한 한계는 여전히 자주 적용됩니다. 쇼퍼 인텔리전스의 Roger Jackson과 공동 저술 한 새 책에서 제목은 다음과 같습니다. "동요 수수께끼"⁴ 에서 우리는 도구로서 AI에 부여되는 권한에 대해 논의하고 있으며, 저는 AI를 완전한 해답이 아닌 도구로 계속 바라봐야 한다고 굳게 믿습니다. 그렇다면 이러한 알고리즘이 제공하는 최고의 기능을 활용하여 경쟁 우위를 확보하려면 어떻게 해야 할까요?

1. 알고리즘은 이미 나와 있습니다. 이는 모든 경쟁업체가 여러분의 제품에 대해 알아내기 위해 알고리즘을 사용할 수 있다는 것을 의미합니다. 직접 사용하지도 않을 것인데 왜 경쟁사에게 이점을 제공할까요? '일반적인 관심' 관점에서 경쟁사 대비 디자인이 어떻게 비교되는지 확인하세요. — 이를 통해 얻은 인사이트는 특히 시장의 역동성을 고려할 때 매우 중요할 수 있습니다. 매번 경쟁업체가 제품 디자인을 변경할 때마다 이 비교를 다시 실행해야 합니다. 주목도와 관련하여 성공 여부는 상황에 따라 크게 달라지기 때문입니다.

2. 여기서 멈추지 마세요.. 고객에게 어필하는 가장 좋은 방법 중 하나는 여러분이 얼마나 잘 알고 보여주는 것입니다. 일반 참가자, 특히 심리학 학생을 대상으로 훈련된 모델을 기반으로 한 테스트는 고유한 고객층을 대상으로 주의력 테스트에서 얻을 수 있는 수준의 인사이트를 제공하지 못합니다. 예를 들어 연령, 성별, 국적에 따라 주의력 분포가 달라질 수 있으므로 이러한 수준의 세분화가 없다면 이미 문제가 있는 것입니다. 고객을 알고 있다는 것을 보여주는 유일한 방법은 고객을 대상으로 테스트하는 것뿐입니다.

3. 최고가 되세요. 럭셔리 브랜드라면 일반적인 브랜드가 되는 것만으로는 충분하지 않습니다. 차별화되어야 합니다. AI 알고리즘을 기반으로 광고, 인터페이스 및 패키지의 재설계 제안을 보여주는 끝없이 쏟아지는 LinkedIn 게시물을 살펴보면 다음과 같은 사실을 확인할 수 있습니다. 정확히 디자이너가 만든 것이 아니라 AI가 만들어낸 것처럼 보입니다. 물론 아이러니를 의도한 것이 아니라면 명품 브랜드가 피해야 할 일입니다. AI가 연구 참여자 역할을 할 수도 있다는 제안이 점점 더 많아지고 있지만, 이러한 '참여자'가 고급 고객을 대표하지는 않을 것입니다.

4. 예상치 못한 문제. 누구나 좋은 시선추적 히트맵을 좋아하며, 주의 집중 예측 알고리즘이 비슷한 결과물을 만들어내는 것은 우연이 아닙니다. 저는 오랫동안 시선추적의 오용에 대해 비판해 왔기 때문에 여기서 시선추적의 핵심 문제를 분명히 강조하고자 합니다. 시선추적 연구의 이상값은 일반적으로 표현을 왜곡할 수 있기 때문에 히트맵에서 제외되지만, 명확하지 않은 인사이트에 관해서는 가장 유용한 정보를 제공하는 경우가 많습니다. 제가 박사 과정 초기에 접한 전형적인 예는 제가 연구하던 "무의식적 선호도 감지"최적의 디자인을 출력으로 제공해야 하는 알고리즘이 완전히 고장난 것처럼 보였습니다. 파트너를 대상으로 테스트했을 때 똑같이 가능성이 높은 두 가지 디자인이 나왔는데, 하나는 대부분 빨간색, 다른 하나는 대부분 녹색이었습니다. 물론 그는 빨간색/녹색 색맹이었기 때문에 두 디자인이 실제로는 동일한 단일 결과였기 때문에 알고리즘의 완전히 새로운 잠재력을 발견할 수 있었습니다! 이상치에 대한 실제 시선추적 결과가 없으면 이상치가 존재할 수 있는지, 더 중요한 것은 왜 그런 행동을 했는지 알 수 없습니다. 일반 인구 기반 예측주의 알고리즘에 전적으로 의존하면 이상치 행동에서 학습할 가능성이 사라지며, 이는 특히 다음과 같은 경우와 관련이 있습니다. UX 및 인간 성과 연구와 특히 관련이 있습니다.

간단히 말해서, 현재로서는 실제 사람이 실제 작업을 수행하여 실제 디자인을 테스트하는 것을 대체할 수 있는 것은 아무것도 없습니다. 실제 지능입니다.

참조

1. 빈즈, M., 아카타, E., 베스게, M.et al.인간의 인지를 예측하고 포착하는 기초 모델.Nature(2025).

2. Hanel, P. H., & Vione, K. C. (2016). 학생 샘플이 일반 대중의 정확한 추정치를 제공합니까? 플로스 원, 11(12), e0168354.

3. Itti, L., Koch, C. 시각적 주의의 전산 모델링.Nat Rev Neurosci 2, 194–203 (2001).

4. Jackson, R., & Holmes, T. (2025). 동요 수수께끼. 판테온 출판사.