게임테스트는 CBT나 OBT같이 ‘유저들이 참여하는 테스트’에만 국한되어 있는 의미가 아니다. 게임내에 새로운 콘텐츠를 추가할 때, 장기간 서비스 되어온 게임의 틀을 최신 플랫폼에 맞게 개편할 때, 혹은 한 주에 한번씩 찾아오는 정기점검 때에도 게임 서비스의 품질을 지속적으로 관리하기 위한 ‘내부 테스트’는 끊임없이 이루어지기 마련이다.

날이 갈수록 빨라지고 있는 ‘콘텐츠 추가 사이클’ 속에서 최대한 오류 없이 안정적인 서비스를 진행하기 위해서라도 ‘게임테스트 자동화’는 한번쯤 고민해볼 만한 부분이다. 한게임의 ‘게임QA팀’을 맡고 있는 김신애 실장은 9월 8일 개최된 NHN DeView에서 현재 서비스되고 있는 게임에 직접 적용해본 ‘게임 테스트 자동화’ 사례들을 공개했다.

자체 서비스 게임에 외부 툴은 맞지 않았다

김 실장이 처음 시도해본 ‘게임테스트 자동화’는 외부 프로그램을 통한 서버 스트레스 테스트였다. 하지만 게임 서비스의 경우 고객 보안을 위해 부득이하게 보안툴을 통한 암호화 과정을 거치는 탓에, LoadRunner나 Venus Blue와 같은 외부 툴로는 테스트에 활용하려고 하는 패킷을 제대로 처리하지 못하는 문제가 관측되었다. 김 실장은 “처음에는 다른 회사에서 개발된 범용툴을 사용한 게임테스트 자동화를 시도했지만, 국내 게임의 다양한 보안툴과 유저 간의 상호작용을 최대한 가깝게 재현해야 하는 ‘게임 테스트’에는 적절하지 않았다”고 회고했다.

▲외부 상용툴은 넘어야 할 장벽이 너무 많았다

자동 테스트툴 ‘하데스’의 임무, “서버를 죽여라!”

결국 한게임은 신속한 테스트와 빠른 피드백을 위하여 ‘게임테스트 자동화 툴’을 자체 개발하기에 이른다. 이 과정에서 가장 중점을 둔 것은 “게임 서버를 죽이는 툴을 만들자”는 것. 서버의 기능도 중요하지만, 온라인 게임에서 가장 중요한 것은 무엇보다 ‘안정성’이 최우선이 되기 때문이다. 그렇기에 완성된 툴은 그리스 신화에 나오는 죽음의 신의 이름을 따 ‘하데스’로 불리게 되었다.

이렇게 태어나게 된 ‘하데스 엔진’은 서버 스트레스 테스트뿐만 아니라 게임 플레이 방식에 대한 특정 시나리오를 주입시켜 서버 속에서 이를 수십, 수백번 동안 반복하는 등 ‘사람이 하기 힘든’ 까다로운 조건의 테스트들을 거뜬히 수행했다.

▲한게임 포커 `스트레스 테스트` 시연 영상

▲한게임 고스톱 `리그레션 테스트` 시연 영상

퍼블리싱 게임들에 대한 자동 테스트 사례

퍼블리싱 게임들의 품질을 관리해야 할 때에는 개발사의 일정상 하루 이틀 내에 추가되어야 할 수백 가지의 콘텐츠를 당장 테스트해야 하는 경우가 자주 발생한다. 하지만 이들은 한게임의 자체 개발 게임과 구조가 달라 ‘하데스 엔진’과 같은 툴로 패킷을 분석하는 데엔 한계가 있다.

QA과정에서 테스트를 해야 하는 대상들을 나열해보면 아이템 착용룩 확인, 드랍확률, 능력치 적용과 같이 ‘반복적으로 확인해야 하는 대상’들이 존재한다. 그리고 한게임의 QA팀이 주목한 것은 바로 이들이 가진 ‘반복성’이었다. 반복적인 확인이 필요한 콘텐츠들을 모아 일반적인 게임들에서 금지 프로그램으로 막고 있는 ‘매크로 프로그램’을 테스트용 도구로 활용해보자는 것이 그 취지였다. 김 실장은 “이러한 툴은 쓰기에 따라 좋은 결과를 얻을 수도 있다”며 매크로 프로그램의 대표주자인 AutoHotKey를 활용하여 약 800여 종의 C9 소울/기어아이템을 테스트 했던 사례를 소개했다.

▲위와 같이 반복적인 행위가 필요하다면
`매크로 프로그램`을 활용한 자동 테스트는 충분히 가능하다

▲AutoHotKey를 통한 C9의 소울/기어아이템 테스트 시연영상

게임 자동 테스트로 얻을 수 있었던 것

그렇다면 미리 설정해둔 순서에 따라서 진행되는 ‘게임 자동 테스트’가 과연 기대만큼 효과가 있을까? 김 실장은 최근 출시된 아이폰용 모바일 신맞고의 예를 들어 “매뉴얼 테스트로는 발견되지 않았던 ‘서버 크래시’ 문제, ‘인증서버 응답 오류’ 문제를 모두 하데스 엔진을 통한 테스트로 찾아냈다”라는 말로 자동 테스트에 대한 자신의 신뢰를 피력했다.

▲게임테스트 자동화는 기초만 다져두면 그 역할을 톡톡히 해준다

또한, 현재 한게임 내 웹보드게임에 적용되어 있는 ‘10시간 이상 플레이시 자동제한’ 시스템도 테스트 과정에서 하데스를 통한 가상 유저 실험으로 숨겨져 있던 허점들을 잡아낼 수 있었다. 이처럼 실제 사람이 참가하기 힘든 조건을 확실히 체크함으로써 테스트 시간도 단축하고, 최종적으로 테스트 결과에 대한 자신감도 얻을 수 있다는 것이 김 실장이 제안하는 ‘게임테스트 자동화’의 가장 큰 소득이었다.