메타휴먼을 이용한 시선 표현 실험

인간은 다른 사람과의 관계를 구축하고 성장시키기 위해 커뮤니케이션에 의존하는 사회적 동물입니다. 인간의 모든 감각 중에서 눈은 사회적 신호를 수신하고 발신한다는 점에서 독특합니다. 눈을 마주치면서 우리는 인정받고, 이해받고, 검증받는다고 느낍니다. 유아는 머리의 움직임보다 어른의 눈 상태에 더 민감합니다. 관계에 있는 사람들은 더 많은 말을 하지 않아도 길고 깊은 눈빛으로 사랑을 전합니다. 숙련된 연사들은 청중과 눈을 마주치며 강력한 연설을 합니다. 눈맞춤은 소통의 열쇠를 쥐고 있습니다.

우리는 메타버스에서 또 다른 삶을 꿈꾸기 시작하지만, 증강된 가상 공간에서 나를 표현하는 아바타에 진정성을 불어넣고 싶어하는 사람들이 대부분이라고 생각합니다. 아바타를 통해 다른 사용자와 사귀고 그룹 활동과 엔터테인먼트에 참여한다는 것은 상상하기 어렵지 않습니다. 시선추적 기술을 통해 아바타의 시선 접촉과 움직임을 활성화하는 것은 쉬운 일이 아닙니다. 이는 사용자의 사회적 존재감을 크게 향상시킬 것입니다.

사용자는 메타버스에서 참여할 활동의 유형에 따라 디즈니 캐릭터와 같은 외모를 선택하거나 가능한 모든 방식으로 자신을 닮은 디지털 트윈을 만들 수 있습니다. Ready Player Me와 같은 크로스 플랫폼 애니메이션 스타일의 아바타 시스템이 수백 개의 앱과 게임을 지원하는 것을 보았습니다. 토비는 최근 레디 플레이어 미 아바타를 통합하고 콘텐츠 크리에이터를 위한 토비 시선추적을 지원하는 VR 스트리밍 플랫폼 LIV와의 협업을 발표했습니다.

시선추적이 포토리얼한 아바타에도 사실감을 더해주는지 알아보기 위해 최근 에픽의 인기 아바타 제작 툴인 메타휴먼에서 토비 시선추적을 활성화해 보았습니다. 그리고 오늘은 이 흥미로운 '해킹' 경험에서 저를 흥분시켰던 점을 공유하고자 합니다.

VR에서 얼굴 표정 캡처하기

메타휴먼 캐릭터는 매우 사실적이며 라이브 링크를 통해 연결된 실시간 모션 캡처(Mocap) 장치를 사용하여 생동감 있게 구현할 수 있습니다. 여러 모션 캡처 솔루션이 존재하며 놀랍도록 생생한 캐릭터를 제작할 수 있습니다. 이러한 솔루션은 얼굴 움직임도 캡처하지만, 고급 전신 모션 캡처 제품군(예: Cubic Motion)의 내장 방식부터 iPhone X의 혁신적인 사용 방식까지 다양한 방식으로 캡처합니다. 하지만 사용자가 이미 얼굴을 가리는 VR 헤드셋을 착용하고 있기 때문에 VR 응용 분야의 아바타에 직접 사용할 수는 없습니다.

차세대 VR 헤드셋에는 얼굴 표정을 포착하기 위한 시선추적 및 입술 추적용 센서가 추가로 장착되어 있습니다. 예를 들어, 토비 시선추적은 Pico Neo3 Pro Eye, HP Reverb G2 Omnicept Edition, Pico Neo 2 Eye 및 HTC Vive Pro Eye에 통합 기능이 탑재되어 있습니다. 이 실험에서는 HP Reverb G2 Omnicept Edition 헤드셋을 사용하여 VR 응용 분야에서 메타휴먼 캐릭터의 표정 제어를 위해 실시간 시선 입력을 활용했습니다.

시선 입력으로 표현식 및 컨트롤 살펴보기

메타휴먼 페이스 릭에는 눈과 눈 주변 근육의 움직임을 제어할 수 있는 여러 제어 포인트가 있습니다. 페이스 컨트롤 보드는 시선 방향을 제어할 때 눈 근육이 얼마나 잘 움직이는지 보여줍니다. VR 헤드셋에서 실시간으로 시선 입력을 받아 메타휴먼 시선 방향 표현 컨트롤과 기타 근육 컨트롤 포인트를 업데이트하여 사실적인 시선 표현을 얻도록 구성합니다.

결합된 시선 방향을 입력으로 사용하여 이를 정규화하고 세분화하여 제어점을 업데이트하는 데 필요한 좌우 및 상하 움직임을 얻습니다.

시선 이동 표현 컨트롤

각 눈의 각 방향을 바라보는 표현식 컨트롤은 0.0에서 1.0 사이의 실수 값을 사용합니다. 정규화된 시선 방향 벡터는 각 눈에 대한 이러한 컨트롤에 입력됩니다. 이 경우 양쪽 눈에 동일한 값이 적용되도록 단일 벡터인 시선 결합을 사용했습니다. 사용자의 시선 방향에 따라 정면을 볼 때 0.0에서 최대 1.0까지 다양합니다.

눈썹 올리기 표현 컨트롤

시선 표현 컨트롤 외에도 사용자가 다시 위를 바라볼 때 시선 방향만을 사용하는 눈썹 컨트롤도 테스트했습니다. 눈썹에 대한 추가 입력이나 신호를 사용하지 않고 위쪽 방향만 사용하여 트리거했습니다. 메타휴먼은 눈썹을 올리기 위한 컨트롤을 안쪽과 바깥쪽 영역으로 세분화했으며, 각각에 가중치를 부여할 수 있습니다.

추가 개발

이 실험에서는 시선 방향만 입력으로 사용하여 메타휴먼 페이스 릭의 약 12개의 표정 제어 포인트를 업데이트하여 사실적인 시선 움직임을 구현했습니다. 더 많은 제어 포인트를 트리거하여 VR 응용 분야에 맞는 시선 표현을 추가할 수 있습니다.

향후 개발 및 탐색을 위해 윙크, 찡그리기, 찡그리기, 뺨 올리기 등의 표정을 제어할 수 있는 눈 깜박임 및 눈 뜨기 신호를 평가하고자 합니다.

융합 신호는 플레이어가 다양한 거리에서 물체를 바라볼 때에도 사용할 수 있으며, 따라서 동일한 VR 응용 분야의 다른 플레이어가 아바타를 올바르게 관찰할 수 있습니다.

결론적으로, 메타버스에서는 사용자가 언캐니 밸리 효과를 피하고 싶을 뿐만 아니라 어디에 있든 정확하고 효과적으로 표현되기를 원하기 때문에 사실적이고 표현력이 풍부한 아바타가 선호될 것이라고 생각합니다. 따라서 개발자는 지금 바로 시선추적의 이점을 살펴볼 것을 강력히 권장합니다. 소셜 응용 분야에서 아바타를 활성화하는 방법에 대해 자세히 알아보세요.
XR 개발자 존. 또는 문의하기 에 문의하여 향후 개발에 협력하고 싶으시다면요.