데이터 드리븐 기획 과제 회고
- 1. 데이터 분석 (0) 전제조건완료
- 2. 데이터 분석 (1) 기술 이슈 분석현재 글
- 3. 데이터 분석 (2) 변수별 완독률/이탈시점 영향 분석완료
- 4. 데이터 분석 (3) 허들 분석완료
- 5. 데이터 분석 (4) 추천 클릭 퍼널&여정 분석준비중
- 6. 데스크 리서치: 연재작 플랫폼 vs 완결작 플랫폼준비중
이번 개인 과제에서는 데이터 분석에 힘을 주어 헤비하게 진행해보았기 때문에 단계별로 기록 및 회고하고자 한다.
내 의사결정 과정을 기록해두어야 이후 피드백을 받고 정확한 자가진단을 할 수 있기 때문!
기술 이슈 분석을 시행한 이유
기술 이슈 분석은 먼저 무조건 선행되어야 하는 분석이라고 생각했다. 기술적 이슈는 사용자 경험을 매우 극적으로 저해하는 요소인데다, 서비스 이용을 못하게 하는 치명적 기술 이슈가 있는 경우 그 어떤 서비스 개선도 쓸모없기 때문이다. 다만, 기술 이슈 해결은 일반적으로 PM의 영역이 아니므로, 이 부분은 개발팀에 토스하여 병렬적으로 해결해야 하는 문제라고 정의하였다.
기술 이슈 발생률 5%은 매우 높은 수치
주어진 데이터에서 기술 이슈의 발생 확률은 5%였다. 적다고 생각하는 사람도 있겠지만 나에겐 매우 크게 다가왔다. 우리가 과제로 받은 데이터셋은 실제 열람을 한 '행위'만을 추출한 로그에서 온 것이기에, 1천 명 중 50명이 겪는다는 의미가 아니라 1천 번 중 50번 겪는다는 의미였기 때문이다. 게다가 1천행 중 '극초반 기술이슈 발생으로 이탈'하는 비율이 4.5%나 되었다.
이걸 수학적으로 계산하면 꽤 심각한 상황이 된다. 예를 들어, 하루 3번 독서 열람을 한다고 가정하면 12.9%, 하루 5번이면 20.54%, 하루 10번이면 36.9%로 극초반에 기술 이슈로 인해 강제로 독서를 중단하게 된다는 얘기다. (그냥 고등학교 때 배운 확률과통계 적용만 하면 바로 나오는 숫자임)
사실 이 정도의 기술 이슈 이탈률이면 앱 VoC가 버그에 대한 불만으로 뒤덮였을 것 같은데 실무에선 또 모르겠다. 조용히 떠나는 유저들도 많으니.
어쨌거나 수학적으로 따져봤을 때 꽤 높은 발생률임이 자명했고, 이 부분을 제출물에 명시하였다. 특히나 극초반부에 발생하는 이슈이고 열람 자체를 불가능하게 하는 치명적인 문제이기에 별도의 프로젝트를 진행함으로써 기술 이슈를 해결해야 한다고 적었다.
기술 이슈 상세 분석
기술 이슈가 주로 어떤 여정에서 발생하는지도 분석해보았다. 이를 위해 다른 변수들과의 상관도를 측정하고자 카이제곱 검정을 시행했다.
놀랍게도 추천 전자책 클릭 경험의 유무에 따라 기술 이슈 발생률이 달라지는 것으로 나타났다. 카이제곱 검정결과를 보고, 추천 전자책 클릭으로 인해 기술 이슈가 발생하는 것이라 생각했다. 그런데 추천 전자책을 클릭하지 않은 유저가 기술 이슈를 겪을 확률은 8.6%, 추천 전자책을 클릭한 유저가 기술 이슈를 겪을 확률은 3.2%로 오히려 추천 전자책을 클릭하지 않은 유저가 기술 이슈를 겪을 확률이 2.7배나 되었다.
가상의 데이터셋이기 때문에 이를 의도한 것인지는 모르겠지만 진지하게 실무 데이터라고 가정한다면 추천 전차책을 클릭하는 경험에서 기술적인 충돌을 발생하지 않게 하는 무언가가 있거나, 아니면 추천 전자책을 클릭하는 유저의 또다른 특성이 (예를 들면 기기 연식이라든지) 교란을 일으켰을 수 있다. 후자의 경우를 보다 조사해보고 싶었는데, 기술 이슈로 인해 이탈한 유저의 수가 50명뿐이라 더 분석을 하기는 어려웠다.