아이템에 대한 만족도는 플레이어가 게임을 열심히 하는데 영향을 미칠까??

들어가며

앞선 포스팅에서는 저희 회사 게임을 대상으로 좋은 아이템(영웅/전설 등급 전직 아이템)이 유저의 게임 플레이에 영향을 미치는지 인과 분석한 내용을 소개해 드렸습니다. 접속 일수, 결제 금액 등 아이템 획득 전후 30일(단기간) 간 게임 플레이 활동의 변화값을 보았을 때 전반적으로 좋은 아이템을 획득한 사건이 플레이 활동 증대에 영향을 미친다는 결과가 나왔습니다.

그런데 분석을 하던 중 “획득한 아이템에 만족스럽지 않다면 플레이 변화가 없거나 이후 활동량이 감소하지 않을까?” 라는 궁금증이 생겼습니다. 캐릭터가 갖는 직업에 따라 사용하는 무기가 정해지는데 최초 획득한 영웅/전설 등급 전직이 다른 직업인 경우 무기 및 스탯, 스킬을 다시 세팅해야하는 불편함이 있기 때문입니다. (예를 들면 기존에 사용하던 직업은 원거리 무기를 사용하는 직업인데, 근거리 무기를 사용하는 영웅/전설 등급 전직을 획득한 경우입니다.)

아무리 기존의 전직보다 스탯, 속도 측면에서 좋은 영웅/전설 등급을 얻었다고 할지라도, 내가 사용하지 않던 직업 아이템이라면 이에 만족하지 않을 수 있고, 이에 따라 플레이 변화가 다르게 나타날 수 있지 않을까? 라는 생각이 들어 후속 분석을 진행하게 되었습니다.

상세 내용을 공유드리기 전에 배경을 간략히 설명 드리면, 영웅 등급 이상 전직 아이템은 획득 후 동일 등급의 다른 전직 아이템으로 랜덤 변경할 수 있는 기회가 주어집니다. 무제한으로 변경 가능한 건 아니고, 최대 변경 횟수가 있으며 변경 시에는 소정의 비용이 요구됩니다. 영웅 등급 이상은 매우 얻기 어렵기 때문에 만약 원하는 전직 아이템이 아닌 경우, 아이템을 변경하는 것이 새로 획득하는 것보다 나은 경우가 많습니다.


[그림1] 영웅/전설 획득 ~ 전직까지의 절차

그래서 본 포스팅에서는 “최초로 획득한 영웅/전설 등급 전직에 대한 만족도에 따라 향후 플레이 변화 차이가 있을까?”, 즉 “최초 획득한 영웅/전설 등급 전직에 대한 만족도는 향후 플레이 변화 차이를 일으키는 원인이 될까?”로 분석한 내용을 공유드리고자 합니다.

본 포스팅은 앞선 분석의 후속 분석으로 설계 및 결과 부분에 유사한 내용이 많아 간략히 작성하였습니다. 해당 내용을 먼저 보고 오시는 것을 추천드립니다 🙂

 

분석 설계

분석 설계를 간단히 말씀드리면 다음과 같습니다.

영웅/전설 등급을 획득한 유저를 대상으로 획득한 등급 전직에 대한 만족 여부에 따라 획득 전후 30일 간 접속 일수, 결제 금액 등 플레이 변화의 평균 비교 및 통계적 유의성을 확인합니다.

여기서 만족도를 세밀하게 측정하기 위해 최초 획득한 영웅/전설에 대한 최초 만족도와 최종적으로 사용하게 될 영웅/전설에 대한 최종 만족도 두 가지를 같이 보았습니다. 최초 만족도는 유저를 그룹으로 구분하는 기준으로 사용하였고 실제 영웅/전설을 전직하여 플레이하며 느끼는 것은 최종 만족도에 해당하므로 이를 기준으로 두 집단으로 나누어 플레이 변화를 비교하였습니다.

그 후 두 집단 간 공정한 비교가 가능하도록 설계하기 위해 앞서 분석한 인과 분석 방식을 주로 참고하였습니다.

1. 변수 정의

1-1. 원인 변수 및 결과 변수

원인 변수는 “획득한 영웅/전설 등급 전직에 대한 만족도”입니다. 위에서 설명드린 것처럼 획득한 영웅/전설 등급을 변경할 수 있는 시스템이 있기 때문에 만족도는 변경 전과 변경 후 두 단계로 걸쳐 측정하는 것이 적절하다고 판단하였습니다. (변경하지 않은 경우 최초 획득한 영웅/전설은 최종 획득한 영웅/전설과 같습니다. 이 경우 최종 만족도는 최초에 획득한 영웅/전설에 대한 동일 무기 포함 여부를 의미합니다.)

  1. 최초 만족도 : 최초 획득한 영웅/전설을 유지 or 변경하였는가?(“유지 여부”)
    • 유지 : 만족함
    • 변경 : 불만족함
  2. 최종 만족도 : 최종 획득한 영웅/전설이 기존에 사용한 무기를 사용할 수 있는 직업인가?(“동일 무기 포함 여부”)
    • 포함 : 만족함
    • 미포함 : 불만족함

이 두 변수 중 전직을 한 후 실제로 플레이하며 느끼는 영웅/전설에 대한 만족도는 최종 만족도이므로 플레이 변화에 미치는 인과 효과를 확인하기 위해서는 최종 만족도를 사용하는 것이 적절하다고 판단하였습니다.

그리고 추가로 만족도를 세밀하게 측정하기 위해 최종 획득한 영웅/전설에 대한 만족 여부(최종 만족도) 뿐만 아니라 최초 획득한 영웅/전설에 대한 만족 여부(최초 만족도)도 같이 고려하는 것이 중요하다고 판단하였습니다. 예를 들어, 똑같이 최종 영웅/전설에 만족한 유저라도 최초 만족 여부에 따라 최종 영웅/전설에 느끼는 애착이 다를 것이고, 이는 플레이 변화에 영향을 줄 수 있습니다.

  • case1) 최초 만족 → 최종 만족 : 처음부터 만족하는 영웅/전설을 획득하여 변경 없이 사용
  • case2) 최초 불만족 → 최종 만족 : 처음 획득한 영웅/전설에 불만족하여 랜덤 변경하였고, 만족하는 것을 얻음
    • case1과 달리 랜덤 변경이라는 본인의 노력을 들여 최종 만족하는 영웅/전설을 획득한 경우임
    • 획득한 영웅/전설에 대한 애착은 case1보다 높을 수 있음 → 애착은 플레이 변화에서 다르게 나타날 것

즉, 최초 만족도도 같이 고려하여야 유저가 획득한 영웅/전설에 대해 느끼는 만족도를 세밀하게 측정할 수 있을 것입니다. 이를 반영하기 위해 최초 만족 여부가 같은 유저끼리 그룹화하여 각각 최종 만족도가 플레이 변화에 미치는 인과 관계를 측정하는 것으로 설계하였습니다. 정리하면 다음과 같습니다.


[그림2] 최초 만족도와 최종 만족도에 따른 인과 분석 설계

  • 최초 만족도(유지 여부) : 그룹을 나누는 기준으로 사용
  • 최종 만족도(동일 무기 포함 여부) : 영웅/전설에 대한 만족도를 측정하는 기준으로 사용

결과 변수는 앞서 진행한 분석과 동일하게 3개의 결과 변수를 사용하였습니다.

  • 전후 30일 간 접속 일수 변화
  • 전후 30일 간 결제 금액 변화
  • 1/2/3/4주 후 유저 그룹 지표 상향 여부

1-2. 통제 변수 후보

통제 변수도 마찬가지로 동일한 변수 9개를 후보 변수로 사용하였습니다.

  • 성장 : 희귀 등급 수, 컬렉션 완성 횟수, 스킬 습득 수, 인챈트 성공 횟수, 등급 합성 성공 횟수
  • 정체 : 사망 횟수
  • 매몰 비용 : 계정 생성 후 경과일, 레벨, 총 결제액

2. 분석 기간 및 대상 선정

앞서 분석한 5개의 기간에 대해 유사한 결과가 나왔기 때문에 본 분석은 그 기간들 중 하나의 기간을 선택하여 분석을 진행하였습니다.

원인 변수가 “획득한 영웅/전설 등급에 대한 만족 여부”이므로 영웅/전설을 획득한 유저에 한해서 분석을 진행하였습니다.

3. 세부 그룹

앞서 진행한 분석에서 유저 등급 지표(그룹1, 그룹2)와 기존 결제 여부(과금 그룹, 무과금 그룹)에 따라 인과 효과가 다르게 나타날 것으로 판단하여 각 그룹별로 인과 효과를 추정하였습니다. 본 분석에서도 해당 기준을 참고하였으나 약간의 변화를 주었습니다.

결제 금액 변화 인과 효과 추정 시 유저 등급 지표와 기존 결제 여부 2개의 기준으로 총 4개의 그룹별 인과 효과를 추정하였으나, 유저 등급 지표에 따라서는 인과 효과의 차이가 크지 않았고 기존 결제 여부 그룹에 따라 차이가 크게 나타났습니다. 그래서 본 분석에서는 그룹을 너무 많이 나눔으로써 발생하는 샘플 수 부족을 방지하고 분석 결과의 복잡도를 낮추기 위해, 결제 금액 변화 인과 효과를 추정할 때는 그룹을 나누는 기준으로 기존 결제 여부만 사용하였습니다.

그 후 위의 원인 변수 설계 시 설명드린 최초 만족도(“유지 여부”)를 그룹을 나누는 기준으로 추가하였습니다. 최종적으로 인과 효과를 분석할 그룹은 다음과 같습니다.

인과 효과 추정세부 그룹
접속 일수 변화유저 그룹 지표 & 유지 여부 → 총 4개의 그룹
결제 금액 변화기존 결제 여부 & 유지 여부 → 총 4개의 그룹
유저 그룹 지표 상향 여부유저 그룹 지표 & 유지 여부 → 총 4개의 그룹

이렇게 원인 변수와 합쳐져 결과 변수에 영향을 미치는 것을 “상호작용”이라고 합니다. 상세 내용은 Appendix에 작성하였으니 참고하시면 좋을 것 같습니다.

4. 인과 다이어그램을 통한 통제 변수 구성

인과 다이어그램의 전체적인 틀은 앞서 진행한 분석을 참고하였고 그 중 일부 인과 관계를 변경하여 본 분석에 사용하였습니다. 일부 변경 사항은 아래와 같습니다.

  • 원인 변수인 “만족 여부” 노드가 추가
    • 영웅/전설 획득 → 만족 여부 → 결과 변수 경로(V1, V2)가 추가
  • 분석 대상은 영웅/전설을 획득한 유저로만 선정하였으므로 “영웅/전설 획득” 노드에 미치는 영향이 사라집니다
    • 희귀 등급 수 → 영웅/전설 획득(C2)
  • 그리고 이에 따라 원인 변수인 만족 여부로 흐르는 영향이 차단되게 됩니다
    • 희귀 등급 수 → 영웅/전설 획득 → 만족 여부(C2 → V1)

이렇게 인과 다이어그램을 수정한 후 인과 효과(V1; 만족 여부 → 결과 변수) 측정을 위해 실제로 통제할 변수를 선정하는 절차는 아래와 같이 동일하게 진행하였습니다.

  • step1) 원인 변수, 결과 변수에 직접적인 영향을 주지 않는 인과 관계 무시를 위한 노드 통제
  • step2) 원인 변수 외에 결과 변수에 영향을 주는 노드 통제
  • step3) 원인 변수, 결과 변수에 동시에 영향을 받는 노드(collider)
  • step4) 최종 통제 변수 선정
    • step1과 step2에서 선정된 전체 통제 변수들 중 step3에 포함되는 변수는 제외

5-1. 접속 일수 변화 인과 다이어그램


[그림3] 접속 일수 변화에 대한 인과 다이어그램

step1)

  • 만족 여부, 접속 일수 변화 노드에 연결되지 않는 엣지를 의미합니다 (C4, C5, C6, C12, C13)
  • 해당 엣지가 향하는 노드를 통제함으로써 해당 인과 관계를 무시할 수 있습니다. (컬렉션 완성 횟수, 스킬 습득 횟수, 인챈트 성공 횟수, 레벨, 총 결제액 노드 통제)

step2)

  • 접속 일수 변화 노드에 직접적으로 인과 영향을 미치는 영웅/전설 획득을 제외한 노드입니다 (C7, C8, C9, C10, C11, C14)
  • 해당 노드들은 인과 효과(V1) 이외에 접속 일수 변화에 영향을 미치는 변수이므로 통제가 필요합니다 (컬렉션 완성 횟수, 스킬 습득 횟수, 인챈트 성공 횟수, 레벨, 총 결제액, 사망 횟수 노드 통제)

step3)

  • 만족 여부, 접속 일수 변화 노드로부터 동시에 영향을 받는 노드를 의미합니다(없음)
  • 해당 변수는 collider이므로, 통제 변수에서 제외하여야 합니다.

step4)

  • step1, step2에서 선정된 통제 변수들 중 step3에 포함되는 변수를 제외합니다. (컬렉션 완성 횟수, 스킬 습득 횟수, 인챈트 성공 횟수, 레벨, 총 결제액, 사망 횟수)

이제 인과 효과 추정을 위해 선정된 통제 변수를 포함하여 모델을 구성합니다.

  • 접속 일수 변화 ~ 만족 여부(동일 무기 포함 여부) + 컬렉션 완성 횟수 + 스킬 습득 횟수 + 인챈트 성공 횟수 + 레벨 + 총 결제액 + 사망 횟수

5-2. 결제 금액 변화 인과 다이어그램


[그림4] 결제 금액 변화에 대한 인과 다이어그램

위의 방식과 마찬가지로 최종 통제 변수를 선정하여 모델을 설계하면 아래와 같습니다.

  • 결제 금액 변화 ~ 만족 여부(동일 무기 포함 여부) + 등급 합성 성공횟수 + 총 결제액 + 사망 횟수

5-3. 유저 그룹 지표 상향 인과 다이어그램

유저 그룹 지표 상향 여부는 마찬가지로 통제 변수를 접속 일수, 결제 금액 인과 추정 시 선정된 통제 변수의 집합을 사용하였습니다.(유저 그룹 지표는 접속 일수, 결제 금액 등 전반적인 게임 플레이 활동량에 따라 산출되기 때문입니다)

그리고 변수의 값이 binary type(0 또는 1)이므로 로지스틱 회귀 모델을 사용하여 인과 효과를 추정하였습니다.

  • 유저 그룹 상향 여부 ~ 만족 여부(동일 무기 포함 여부) + 등급 합성 성공횟수 + 컬렉션 완성 횟수 + 스킬 습득 횟수 + 인챈트 성공 횟수 + 레벨 + 총 결제액 + 사망 횟수

분석 결과

아래의 그래프들은 최종 만족도인 최종 획득한 영웅/전설의 동일 무기 포함 여부(2번 원인 변수)에 따른 플레이 변화의 평균 차이를 보여줍니다. 동일 무기를 미포함하였을 때 대비 포함하였을 때 평균적으로 플레이 변화가 1) 얼마나 높은지와 2) 이에 대한 신뢰 구간을 나타냅니다. 즉, 동일 무기 포함 여부 기준으로 불만족하였을 때 대비 만족하였을 때 플레이 변화 차이가 있는지, 있다면 얼마나 큰지에 대한 인과 효과를 측정한 것입니다.

신뢰 구간이 점선(값이 0인 부분) 우측에 위치한다면 “획득한 영웅/전설 전직에 대해 만족한 경우 불만족하였을 때보다 플레이 변화가 증가한다”라고 해석합니다.

결과를 간단히 요약해드리면, 전반적으로 최초 획득한 영웅/전설에 대한 만족도에 따라 플레이 변화 차이는 보이지 않는 것으로 보입니다. 이를 해석하면 전반적인 능력치가 대폭 향상되는 영웅/전설 등급을 최초로 획득한 것이므로 동일 무기 포함 여부에 따른 만족도는 플레이에 큰 영향을 미치지 않는 것으로 보입니다.

5-1. 접속 일수 변화에 미치는 인과 효과 추정

최초 영웅/전설 유지최초 영웅/전설 변경

모든 그룹에서 영웅/전설 등급의 동일 무기 포함 여부는 접속 일수 변화에 유의한 영향을 미치지 않는 것으로 보입니다.

5-2. 결제 금액 변화에 미치는 인과 효과 추정

무과금과금

(x축의 범위는 과금 그룹이 무과금 그룹에 비해 5배 넓습니다)

마찬가지로 모든 그룹에서 영웅/전설 등급의 동일 무기 포함 여부는 결제 금액 변화에도 유의한 영향을 미치지 않는 것으로 보입니다.

5-3. 4주 후 유저 등급 상향 확률에 미치는 인과 효과 추정

최초 영웅/전설 유지최초 영웅/전설 변경

(x축이 나타내는 것은 유저 등급이 상향될 확률입니다)

대부분 그룹에서 영웅/전설 등급의 동일 무기 포함 여부는 유저 등급 상향 확률에 유의한 영향을 미치지 않습니다.

단, 특정 그룹(그룹1이며 최초 획득 영웅/전설을 변경한 유저)에서는 6.7%p 정도의 인과 효과가 나타났습니다. 이는 해당 그룹에서 최초 획득한 영웅/전설에 불만족하여 변경한 유저 중 최종적으로 획득한 영웅/전설 전직에 불만족한 유저 대비 만족한 유저가 향후 전반적인 플레이 증대가 일어날 확률이 높다는 것을 의미합니다.

그룹2에서는 위와 같은 현상이 나타나지 않았는데, 게임 참여도가 낮은 유저 층이므로 영웅/전설 등급 자체는 매우 중요하지만 동일 무기 포함 여부는 크게 중요하게 작용하지 않는 것으로 생각됩니다.

마치며

지금까지 영웅/전설을 획득한 유저의 만족도에 따른 향후 플레이 변화에 인과 관계가 존재하는지 소개드렸습니다.

유저의 만족도는 전직 아이템 유지 여부, 동일 무기를 사용하는 직업인지 여부로 2단계에 걸쳐 살펴보았고 이를 통해 최초 만족도 → 최종 만족도로 나누어 정의하였습니다.

이전 포스팅의 결과와 함께 보자면, “최초로 획득한 높은 등급의 전직이다보니 획득 자체가 중요하고, 만족도는 향후 플레이가 감소하거나 증가하는데 영향을 미치지 않는 것으로 보인다”라고 결론 지을 수 있습니다.

이번에도 쓰다보니 글이 길어졌네요. 다음에는 더 재미있는 주제로 찾아오겠습니다 😀

Appendix.

아래의 그림의 출처는 [wikipedia] Interaction입니다.

상호작용(interaction)

  • 결과변수에 합쳐져 영향을 주는 변수 간 관계

  • 각 변수가 결과 변수에 독립적으로 영향을 미치지 않고 하나의 변수가 변함에 따라 다른 하나의 변수가 결과 변수에 미치는 영향이 바뀌는 것

상호작용을 고려해야하는 이유

변수 간 상호작용을 고려하지 않고, 개별 변수가 결과변수에 미치는 영향만을 고려할 시 해석에 오류가 발생할 수 있음

  •  : 결과 변수, �1 : 상호작용 변수1, �2 : 상호작용 변수2

�2가 변함에 따라 �1이 에 미치는 영향이 바뀐다. 예를 들어 �2=�인 경우 �1이 에 미치는 영향은 이지만, �2=�인 경우 �1이 에 미치는 영향은 이다. (�≠��≠�)

따라서 �1이 에 미치는 영향을 확인하기 위해서는 �2를 고정시켜놓고 측정해야 함

상호작용을 고려한 영향 추정 방법

주로 2번이 해석이 용이하여 2번 방식을 사용함

  1. 상호작용을 일으키는 두 변수를 곱하여 회귀항에 추가하여 해결할 수 있으나 해석에 어려움이 있음
  2. 하나의 상호작용 변수의 값에 따라 sub group으로 나누어 효과를 추정하는 방식이 해석에 용이함
    • 위의 예시에서 �2를 고정하고 �1에 따른 의 변화를 본다.

예시) 과자의 수율 ~ 온도의 높낮이

데이터는 아래와 같음

  • 과자의 수율(yield) : float
  • 온도(temperature) : ordinal (1 : 낮음, 2 : 높음)
  • 시간(time) : ordinal (1 : 낮음, 2 : 높음)
temperaturetimeyield
1130
1135
1260
1258
2160
2164
2230
2235

그룹별 수율의 평균을 구하면 아래와 같음

 시간 – Short(1)시간 – Long(2)
온도 – Low(1)32.559
온도 – High(2)6232.5

그래프로 확인하면 다음과 같음

상호작용을 고려하지 않았을 때

  • 시간을 고정하지 않은 채 온도의 증가(Low → High)가 수율에 미치는 평균 차이를 구하면 (62+32.5) / 2 – (59+32.5) / 2 = 1.5
  • → 온도가 수율에 영향을 미치지 않는다고 판단할 수 있음

상호작용을 고려하였을 때

  • time을 Short로 고정
    • 온도의 증가(Low → High)가 수율에 미치는 영향의 평균 = 62-32.5 = 29.5
  • time을 High로 고정
    • 온도의 증가(Low → High)가 수율에 미치는 영향의 평균 = -26.5
  • → 수율에 대해 온도와 시간이 상호작용을 일으키므로 하나의 변수를 고정한 후 나머지 하나의 영향을 살펴보는 것이 타당함

관련글