넥슨이 개발 중인 신작 흥행 예측 AI, 현재 성과는?

최근 몇 년간 게임 시장에서 예상치 못한 흥행작이 속속 등장하고 있다. 온라인 방송을 뒤흔든 리썰 컴퍼니, 주요 GOTY에 오른 발라트로, 올해 스팀을 강타한 스케줄 1 등이 대표적인 사례다. 이들 대부분은 1인 개발 게임으로, 큰 마케팅 없이 입소문만으로 큰 성공을 거뒀다.

이처럼 진흙 속에 숨은 진주와 같은 게임을 미리 발굴해낼 수 있다면 어떨까? 넥슨 오진욱 인텔리전스랩스 AI R&D실 게임밸류에이션 팀장은 게임의 흥행을 예측하는 AI 개발에 나섰다. 그리고 24일 판교에서 열린 NDC 25(넥슨 개발자 컨퍼런스)에서 이를 구축한 과정과 시뮬레이션 사례를 공개했다.

흥행 예측 AI 모델을 구축하며 주목한 것은 빅데이터, 객관적 추론, 시뮬레이터다. 필요한 정보를 모으고, 이를 근거로 삼아 객관적으로 추론하고, 가상 공간에서 시뮬레이션을 돌려 신뢰도 있는 결론을 뽑아내는 것이다.

오진욱 팀장은 "딱 한 번 맞추는 점쟁이를 만드는 게 아니다. 시장 변화에 따라 학습을 갱신하고, 의사결정이 이뤄지거나 결과가 나왔을 때 피드백을 적용해 신뢰도를 높여나갈 수 있는 전문가 시스템과 같은 AI를 만드는 것이다. 이를 위해서는 도출된 답이 무엇에 근거해서 나왔는지 추적하고, 실패 혹은 성공했을 때 뭔가를 배울 수 있어야 한다"라고 말했다.

모델 구조는 3단계로 이루어진다. 첫 단계는 데이터 모으기다. 장르나 콘텐츠 구성과 같은 게임 내 요소를 시작으로, 유저 및 인플루언서 평가, 소비자 지표와 같은 거시 경제 데이터, 게임에 참여한 디렉터 및 퍼블리셔, 출시 전 시장 동향 등을 수집한다. 오 팀장은 "게임 흥행에 영향을 줄 수 있는 모든 것에 접근한다고 생각하시면 된다"라고 설명했다.

데이터 모으기가 끝나면 두 번째 단계인 AI 모델로 넘어간다. 오 팀장은 "여러 AI가 각각 담당하는 흥행 시나리오 전문 영역이 있고, 이들이 협업한다. 자신이 담당하는 부분에서 결론을 내고, 그 결론이 다른 AI가 쓰는 재료가 되기도 하고, 여러 결론을 합쳐 새로운 답을 만들기도 한다"라고 말했다.

넥슨은 이 과정에 머신러닝 알고리즘인 그래디언트 부스팅 머신(Gradient Boosting Machine, 이하 GBM과) 챗GPT로 잘 알려진 대규모 언어 모델(Large Language Model, 이하 LLM)'을 통합해서 사용한다. GBM은 수치화된 데이터 간의 복잡한 패턴을 학습하는 모델이다. 산출되는 결과가 안정적이고 해석하기 쉽지만, 그림이나 유저 평가와 같은 정형화되지 않은 데이터는 스스로 처리할 수 없어서 가공해서 넣어줘야 한다. LLM은 이미지나 사람이 말하는 자연어도 그대로 반영할 수 있지만, 결과가 다소 불안정하고 해석하기 어려우며 비용도 많이 든다. 오 팀장은 둘 다 장단점이 있기에 관련 모델을 구축할 때 이를 참고할 것을 권장했다.

마지막 세 번째 단계는 평가 결과를 보고, 이를 실제 결과와 비교하며 오차를 줄여나가는 이벨류에이션이다. 오 팀장은 "바둑의 복기처럼 예측이 맞으면 맞는 대로, 틀리면 어떠한 지점이 빗나가는지를 돌아본다. 여기서 고도화에 대한 힌트를 얻고, 힌트를 반영할 수 있는 방향으로 데이터와 모델을 다시 정비한다"라며 "과거 데이터를 가지고 하는 백테스트, 현실을 기준으로 하는 라이브 테스트까지 두 가지 맥락으로 피드백 루프를 만든다"라고 말했다.

이렇게 해서 산출된 AI 흥행 예측 결과는 매출액 등 주요 수치를 시간 흐름에 따라 보여주는 형식 하나와, 이러한 수치가 나온 것에 높은 영향을 끼치는 요소가 무엇인지 설명하는 부분 하나가 산출된다.

오 팀장은 4X 게임 하나와, 인기 IP를 사용한 MMORPG의 예상 매출과 실제 매출을 비교한 그래프를 선보였는데, 4X 게임은 적중률이 높았고 MMORPG는 실제 초기 매출이 예측보다 크게 높게 나왔다. 비록 현재는 초기 단계지만 점점 더 발전시키며 신뢰할 만한 성공 확률을 제시하는 시스템을 만드는 것을 목표로 삼고 있다.

그는 "AI를 통해 100% 성공하는 게임을 찾는 것은 되지도 않을 것이고, 이것이 목표도 아니다. 성공 확률이 높은 게임으로 포트폴리오를 구축하는 방향으로 생각하고 있다"라며 "1개 게임은 틀릴 수 있겠지만, 여러 게임으로 접근하면 성공 확률을 보장할 수 있게 되는 구조를 만들려고 한다"라고 설명했다.

이를 토대로 그는 직감 혹은 경험에 의존해온 흥행 예측에 대한 불확실성을 해소하여 가치 있는 게임을 발굴하고, 사전 제작 단계에서 새로운 도전을 시도할 근거를 탄탄히 하는 것이 궁극적인 목표라 강조했다.

오 팀장은 "이세돌 9단이 알파고에 대해 인간은 생각할 수 없는 놀라운 수를 둔다고 언급한 바 있다"라며 "알파고가 '이러한 수도 된다'라는 것을 알려줬던 것처럼, 흥행 예측 AI 모델을 통해 '이 기획이 이 정도 확률로 가능하다고 한다'라고 이야기할 수 있는 힘을 주고 싶다. 생성형 AI 기술이 발전하며 게임 개발은 더 쉬워질 것이고, 창의적이고 도전적인 게임이 객관적인 근거를 가지고 개발 기회를 얻을 수 있도록 도울 계획이다"라고 밝혔다.