장기적인 게임 서비스를 위해서는 유저 의견을 적극적으로 파악하고 분석하는 과정이 필수적이지만, 수많은 유저 데이터를 일일이 분석하는 건 어마어마한 노동력이 필요하다. 때문에 최근에는 이 과정에 AI를 도입해 효율화를 꾀하는 경우가 많아졌으나, 정확한 도구와 방법이 없다면 시간은 시간대로, 노동력은 노동력대로 들어가는 참사가 벌어질 수 있다. 

그렇다면 효율적인 유저 리서치를 위해서는 어떻게 해야 할까? 이에 대해 16일 열린 NDC 26(넥슨 개발자 컨퍼런스)에서 들어볼 수 있었다. 강연에는 넥슨 게임 UX 분석팀 이세왕 개발자가 자리해, 넥슨에서 실사용 중인 인사이트 파인더를 기반으로 한 유저 리서치 방안을 공유했다.

기존 유저 리서치 방식은 설문 수집부터 최종 보고서 작성까지 순차적으로 이루어져, 분석 지연이 빈번하게 발생했다. 수치 차이가 유의미한지 통계적으로 검증하기 위해 번번이 전문가의 개입이 필요했기 때문이다. 때문에 유저 설문 1건을 분석하는 데 2~3주의 시간이 들었으며, 힘들게 도출한 분석 결과가 개별 담당자에게만 문서 형태로 남아 이전 조사에서 얻은 데이터가 제대로 축적되지도 못했다. 이로 인해 타 부서에서 동일한 내용의 조사를 중복으로 실시하는 등 비효율적인 업무 관행이 이어져 왔다.

이러한 한계를 극복하고자 범용 AI 도구 활용이 검토되었으나, 비전문가 사용 시 발생하는 오류나 할루시네이션 현상이 문제로 지적됐다. 이에 분석팀은 인사이트 파인더를 도입하는 동시에, 인간과 AI, 시스템의 역할을 엄격하게 분리하는 체계를 고안했다. 먼저 정확도가 생명인 통계 검정과 데이터 정제는 결정론적인 시스템 파이프라인에 온전히 맡겨, 오류 발생 가능성을 원천 차단했다. AI는 문항 의도 파악과 복잡한 통계 수치의 자연어 해석 등 언어 처리에만 집중하도록 제약을 뒀다.

인간의 개입은 병목 현상을 유발하지 않도록 최종 보고서 작성 직전 단계로 최소화했다. 이를 통해 조사자는 AI가 정리한 중간 결과를 바탕으로, 핵심 대상을 선정하고 최종 인사이트를 도출하는 판단 작업에만 집중할 수 있다. 

이세왕 개발자는 이러한 리서치 프로세스를 통해 표준화, 자산화, 접근권 등 세 가지 효과를 이뤘다고 설명했다. 먼저 설문 데이터가 입력되면 시스템이 일관된 기준으로 정보를 정체하고, 통계로 압축된 핵심 사실만을 AI에 전달함으로써 정보 처리의 표준화가 이뤄졌다. 과거 개별 파일로 데이터를 파편화하여 관리하던 것과 달리 입력된 모든 정보를 손실 없이 연결해 자산화가 가능해졌다. 이렇게 축적된 데이터는 중간 과정을 하던 전문가를 거치지 않고도 기획자, 디렉터, PM 등 누구나 자연어로 질문하고 분석할 수 있어 접근권까지 확보됐다.

이로 인해 만성적인 시간 부족에 시달리던 유저 리서치 업무 효율은 대폭 개선됐다. 수집한 데이터는 클릭 한 번으로 30분 이내에 AI 보고서로 만들 수 있으며, 서로 다른 설문 간의 교차 분석은 물론 대규모 유저 트렌드 분석 역시 가능해졌다. 그 결과 별도 홍보 없이 넉 달 만에 백 명이 넘는 실무진이 자발적으로 도입했으며, 단일 설문당 평균 3~4번이 한계였던 교차 분석은 19번까지 늘어났다. 업무 시간 역시 최근 4개월 동안 9,339시간이 절약된 것으로 추산된다.