버추얼 휴먼 수아 제작기, 스캔 없이 한 땀 한 땀 조각했다

지난 6월, 유니티코리아 홍보모델로 발탁된 디지털 휴먼 ‘수아’는 일명 ‘불쾌한 골짜기’가 느껴지지 않는 자연스러움으로 화제를 모았다. 개발자 컨퍼런스 ‘유나이트 서울 2020’에서는 이러한 수아의 탄생 과정에 대한 이야기를 들을 수 있었다.

‘수아의 아버지’ 김형일 온마인드 대표는 2일, 유나이트 서울 2020 세션 ‘디지털 셀럽 수아를 만나다’를 진행했다. 본 세션에서는 수아의 기획 의도와 개발 과정에 대한 상세한 이야기를 들을 수 있었다.

김 대표는 “수아는 세계적으로 인기를 끌고 있는 K-POP 걸그룹을 모델로 삼았다”고 말했다. 이를 위해 최대한 사람에 가까운 모습을 구현하는 것 못지 않게 한국적이면서 친근감이 느껴지는 외모를 갖추도록 심혈을 기울였다. 그렇게 수아는 둥글둥글한 얼굴형에 작은 입, 높지 않은 코 등 동양적인 외모를 지니게 됐다.

김 대표가 처음 수아 제작에 착수했을 당시, 리얼타임 가상 캐릭터가 막 등장하기 시작한 시기로, 실제 사람 같은 캐릭터가 없어 참고할 만한 자료를 구하기 어려웠다고 한다. 이에 따라 모델링부터 모션캡쳐, 페이셜 캡쳐 등 모든 부분에서 직접 R&D를 진행해 수아를 완성했다.

김 대표가 밝힌 수아 제작과정은 말 그대로 ‘한 땀 한 땀 손수 만들었다’고 표현할 수 있다. 먼저 캐릭터 외형부터 실제 사람을 스캔하지 않고, 직접 Z브러시를 활용해 제작했다. 김 대표는 “캐릭터에 적합한 모델을 찾는 것부터 쉽지 않은 일이다”라며, “아무리 좋은 장비라도 신체를 완벽히 스캔하는 것은 불가해 클린업 작업이 필요하다. 개인적으로는 스캔이 비효율적이라 생각한다”고 말했다.

다음으로 헤어스타일에 대해서는 “리얼타임 엔진에서 표현하기 가장 어려운 요소 중 하나”라고 설명했다. 특히 스포츠컷, 민머리 등 짧은 머리로 묘사할 수 있는 남성과 달리 여성은 대부분 긴 머리이기에 성능에 부하 없이 제작하려면 플랜 방식이 가장 적합하다고 설명했다.

렌더링에는 유니티 엔진 최신 기능 중 하나인 유니티 HDRP(고해상도 렌더 파이프라인)를 활용했는데, 수아 제작 초기에는 HDRP 역시 출시된 지 얼마 되지 않아 관련 정보가 부족했다고 한다. 따라서 HDRP 메뉴 하나씩 자체적으로 분석해 수아 제작에 활용했다. 이 같은 어려움이 있긴 했지만, 김 대표는 “HDRP 덕분에 기본 쉐이더에 텍스쳐만 연결시켰을 뿐인데도 실제 사람과 같은 느낌을 주는 것이 가능했다”고 설명했다.

표정 및 입 모양 구현을 위한 페이셜 캡쳐에는 독특하게도 아이폰X가 활용됐다. 실시간 페이셜 캡쳐 툴로써 모델링 수정이 용이하고 성능도 우수한 편이라는 것이 김 대표의 설명이다. 다만 단점도 없지 않았는데, 부족한 레퍼런스와 적은 수의 블렌드쉐입으로 완벽한 실사 느낌을 주기에는 어려웠다고 전했다.

마지막으로 모션캡쳐 및 버츄얼카메라 구현에 대한 설명이 있었다. 모션캡쳐의 경우 광학식 장비가 지나치게 고가임에 따라 자이로식 장비를 선택했는데, 성능이 아무리 좋더라도 사전세팅이 철저하지 않다면 실제모델과 캐릭터의 움직임에 상당한 괴리가 존재했다. 특히 모델이 바뀔 경우 세팅도 그에 맞게 변경해야 한다. 버츄얼카메라는 VR 기기인 HTC 바이브 트래커를 활용해 구현할 수 있었는데, 프레임 하락과 떨림은 추후 개선해야 할 부분이다.

김 대표는 발표를 마무리하며, “지금은 하드웨어와 소프트웨어 발전으로 불쾌한 골짜기를 쉽게 넘는 것이 가능해졌다”며, “자연스러운 느낌을 선사하는 모델 제작은 아티스트의 역량 문제”라고 말했다. 여기에 덧붙여서 “국내에서도 높은 사양을 요구하는 프로젝트가 늘어나 아티스트가 역량을 키울 수 있는 환경이 마련됐으면 한다”고 바람을 전했다.