엔비디아, 게임 아바타 제작 위한 생성형 AI 지원

엔비디아(NVIDIA)는 개발자를 위한 그래픽 카드 및 글로벌 인공지능 컨퍼런스 엔비디아 GTC(GPU Technology Conference)에서  디지털 휴먼 기술을 지원한다고 밝혔다. 개발자들은 상용 애플리케이션과 게임 캐릭터를 위한 사실적인 아바타를 제작할 수 있다.

음성과 애니메이션용 엔비디아 아바타 클라우드 엔진(이하 ACE), 언어용 엔비디아 네모(NeMo), 레이 트레이싱 렌더링용 엔비디아 RTX는 개발자가 AI 기반의 자연어 상호작용이 가능한 디지털 휴먼을 제작해 보다 사실적이고 매력적인 대화를 나눌 수 있도록 하는 기초 구조다.

엔비디아 ACE은 개발자가 엔비디아 오디오투페이스기반 얼굴 애니메이션과 엔비디아 리바 자동 음성 인식(ASR)과 텍스트 음성 변환(TTS) 기반의 음성으로 생성된 아바타가 음성을 인식하고 이에 맞춰 표정을 만들 수 있도록 지원한다. 엔비디아 네모는 정밀한 데이터 큐레이션, 커스터마이징, 검색 증강 생성(RAG)을 통해 개발자가 상위 생성형 AI 모델을 제공할 수 있는 플랫폼이다.

엔비디아 ACE는 게임 캐릭터에 생동감을 불어넣기 위해 설계된 기술 모음이다. 인월드 AI가 엔비디아와 협력해 만든 새로운 기술 데모인 코버트 프로토콜(Covert Protocol)은 게임 내 캐릭터 상호 작용을 더 현실적으로 구현하도록 돕는다. 인월드의 AI 엔진은 정확한 음성 텍스트 변환을 위한 엔비디아 리바와 사실적인 얼굴 연기를 제공하는 엔비디아 오디오투페이스를 통합했다.

인월드의 AI 엔진은 논플레이어 캐릭터(NPC)의 성능에 시각과 청각 등 감각 자료를 인식하는(멀티모달) 방식을 도입해 인지, 인식과 행동 시스템을 통합한다. 이를 통해 아름답게 제작된 환경을 배경으로 놀라운 RTX 렌더링 캐릭터와 함께 몰입형 내러티브를 구현한다.