만약 플레이어가 너무 빨리 강해지면 게임이 단조롭고 쉽게 느껴져 흥미를 잃을 수 있으며, 반대로 성장이 너무 느리거나 어려우면 좌절감을 느껴 게임을 포기할 가능성이 높아집니다.
적절한 밸런스가 유지될 때, 플레이어는 자신의 노력이 보상받는다는 성취감을 느끼며 게임에 더 깊이 몰입하게 됩니다. 이 과정에서 작은 성공을 쌓아가며 더 큰 도전을 극복할 준비가 된다는 느낌을 받을 수 있습니다.
Crown Rumble: Idle Kingdoms에서 유저들은 전투에서 승리하거나 땅을 점령하면서 [망치]라는 재화를 획득할 수 있습니다. 이 [망치]는 보유한 영웅들을 성장시키는 데 사용됩니다.
[망치]는 방치형 게임 메커니즘으로도 획득할 수 있습니다. 정복이라는 캠페인 전투를 얼마나 진행했는지에 따라, 방치 시간에 비례해 더 많은 [망치]를 자동으로 얻을 수 있습니다.
기존 게임 밸런스에서는 [망치]가 병목 재화로 작용하여 지속적인 수요를 만들어냈습니다. 그러나 공급이 너무 제한적이어서 초반 유저의 성장 속도가 느려진다는 피드백을 받았습니다. 이를 개선하기 위해, [망치] 획득량을 상향하여 유저들의 이탈을 완화시키는 테스트를 진행했습니다.
실험내용
목적 :
게임의 초기 허들을 낮춰, 유저들이 더 쉽게 온보딩 과정을 통과하도록 하는 것
가설 :
방치 망치 수입이 지나치게 적어 초반 유저 성장 경험이 느리기 때문에 해당 비중을 늘리면 게임 이탈률이 줄 것
내용 :
유저들의 성장 속도 및 방치 재화 획득 비율을 참고하여 일정 수준에 맞춰 해당 지급량을 상승
A 그룹 : 기존과 동일
B 그룹 : 기존 보상에서 소폭 상승 (A 그룹 대비 평균 성장 속도 약 +20%)
C 그룹 : 기존 보상에서 대폭 상승 (A그룹 대비 평균 성장 속도 약 +40%)
실험결과
성장 체감이 좋아진 만큼 유저 지표(게임 플레이 시간, 리텐션) 등은 증가하는 반면, ARPU(Average Revenue Per User, 유저당 평균 매출) 값은 감소할 것이라 예측했습니다. 그리고 실제로 확인한 값은 예상과 동일했습니다.
방치 획득하는 재화의 양이 늘어난 만큼 게임을 이전보다 더 쾌적하게 플레이할 수 있었고, 이에 따라 잔존율 지표에는 긍정적인 영향이 있었습니다.
다만 [망치]를 통한 성장 채널에 대한 수요 자체가 줄어들어, ARPU 값은 매우 크게 감소하였습니다.
이런식으로 게임성 지표가 높아지는 반면 수익성 지표가 낮아지는 경우에는 단기간의 ARPU를 비교하는 것 보다는 해당 유저의 LTV (Life Time Value) 를 예상하여 비교하는 방법으로 성과를 측정하고 있습니다.
7일차까지 학습된 데이터를 통해서 LTV 상승량이 얼마나 되는지를 확인합니다. Crown Rumble 같은 경우, D30 ARPU를 LTV로 설정하여 데이터를 확인하였고, 결과는 아래와 같습니다.
장기적으로 유저의 LTV를 예상해본 결과 B,C 그룹보다는 A그룹에서의 성과 값이 좋다고 판단하여 기존의 A그룹을 위너로 결정하였습니다.
방치 획득하는 재화의 양이 늘어난 만큼 게임을 이전보다 더 쾌적하게 플레이할 수 있었고, 이에 따라 잔존율 지표에는 긍정적인 영향이 있었습니다.
다만 [망치]를 통한 성장 채널에 대한 수요 자체가 줄어들어, ARPU 값은 매우 크게 감소하였습니다.
이런식으로 게임성 지표가 높아지는 반면 수익성 지표가 낮아지는 경우에는 단기간의 ARPU를 비교하는 것 보다는 해당 유저의 LTV (Life Time Value) 를 예상하여 비교하는 방법으로 성과를 측정하고 있습니다.
7일차까지 학습된 데이터를 통해서 LTV 상승량이 얼마나 되는지를 확인합니다. Crown Rumble 같은 경우, D30 ARPU를 LTV로 설정하여 데이터를 확인하였고, 결과는 아래와 같습니다.
결론
이번 A/B 테스트 결과, 게임 밸런스 조정을 더욱 정교하게 최적화할 가능성을 확인했습니다. 특히 초반 구간에서 재화를 조정한 결과, 예상보다 게임 텐션이 루즈해져 플레이어의 몰입도가 감소했고, 이로 인해 게임 수익성에 부정적인 영향을 미치는 경향을 발견했습니다.
이에 따라, 전체 구간의 대대적인 변경보다는 특정 구간에서 발생하는 문제를 해결하는 데 집중할 계획입니다. 예를 들어, 일부 자원의 요구량을 조정하는 등의 추가 실험을 진행할 예정입니다.
이번 테스트를 통해 얻은 새로운 인사이트를 바탕으로, 앞으로도 지속적인 실험과 데이터 분석을 통해 지표를 고도화하며 최적의 게임 밸런스를 찾아갈 것입니다.