長期的なゲームサービスのためには、ユーザーの意見を積極的に把握して分析するプロセスが不可欠であるが、膨大なユーザーデータを個別に分析するには莫大な労力が必要となる。そのため、最近ではこのプロセスにAIを導入して効率化を図るケースが増えているが、正確なツールと方法がなければ時間も労力も膨大にかかる惨事になりかねない。

それでは、効率的なユーザーリサーチを行うためにはどうすればよいだろうか。これについて16日に開催されたNDC 26（NEXON開発者カンファレンス）で話を聞くことができた。講演にはNEXONゲームUX分析チームのイ・セワン開発者が登壇し、NEXONで実使用中のインサイトファインダーをベースにしたユーザーリサーチの方策を共有した。

従来のユーザーリサーチ方式は、アンケート収集から最終報告書の作成まで順次行われており、分析の遅延が頻繁に発生していた。数値の差が有意であるかを統計的に検証するために、その都度専門家の介入が必要だったからである。そのため、ユーザーアンケート1件を分析するのに2〜3週間の時間がかかり、苦労して導き出した分析結果が個別の担当者にしか文書の形で残らず、過去の調査で得たデータが適切に蓄積されなかった。これにより、他部署で同一内容の調査を重複して実施するなど、非効率的な業務慣行が続いてきた。

こうした限界を克服するため、汎用AIツールの活用が検討されたが、非専門家が使用する際に発生するエラーやハルシネーション現象が問題として指摘された。そこで分析チームは、インサイトファインダーを導入すると同時に、人間とAI、システムの役割を厳格に分離する体系を考案した。まず、正確性が命である統計検定とデータの浄製は決定論的なシステムパイプラインに完全に任せ、エラー発生の可能性を根本から遮断した。AIは、設問の意図把握や複雑な統計数値の自然言語解釈など、言語処理にのみ集中するように制約を設けた。

人間の介入はボトルネックを引き起こさないよう、最終報告書の作成直前の段階に最小限にとどめた。これにより、調査者はAIが整理した中間結果を基に、コアターゲットを選定して最終的なインサイトを導き出す判断作業にのみ集中することができる。

イ・セワン開発者は、こうしたリサーチプロセスを通じて「標準化」「資産化」「アクセス権」という3つの効果を得ることができたと説明した。まず、アンケートデータが入力されると、システムが一貫した基準で情報を整理し、統計に圧縮されたコアファクトのみをAIに伝達することで情報処理の標準化が実現した。過去に個別ファイルでデータを断片化して管理していたのとは異なり、入力されたすべての情報を損失なく結合して資産化することが可能になった。このように蓄積されたデータは、中間処理を行っていた専門家を介さなくても、プランナー、ディレクター、PMなど誰でも自然言語で質問して分析できるため、アクセス権まで確保された。

これにより、慢性的な時間不足に悩まされていたユーザーリサーチ業務の効率は大幅に改善された。収集したデータはクリックひとつで30分以内にAI報告書を作成することができ、異なるアンケート間のクロス分析はもちろん、大規模なユーザートレンド分析も可能となった。その結果、別途のプロモーションなしに4か月余りで100名を超える実務陣が自発的に導入し、単一アンケートあたり平均3〜4回が限界だったクロス分析は19回まで増加した。業務時間についても、直近4か月間で9,339時間が節約されたと推算される。