데이터 드리븐 기획 과제 회고
- 1. 데이터 분석 (0) 전제조건완료
- 2. 데이터 분석 (1) 기술 이슈 분석완료
- 3. 데이터 분석 (2) 변수별 완독률/이탈시점 영향 분석완료
- 4. 데이터 분석 (3) 허들 분석현재 글
- 5. 데이터 분석 (4) 추천 클릭 퍼널&여정 분석준비중
- 6. 데스크 리서치: 연재작 플랫폼 vs 완결작 플랫폼준비중
여러 가지 이유로 허들 통과율이라는 개념을 도입했다. 각 구간 사이를 가상의 관문으로 설정하고, 그 관문을 통과한 사람과 탈락한 사람을 비교하는 방식이다.
UX불편 분석
처음엔 단순하게 생각했다. 극초반에 UX불편으로 하차한 사람이 120명이니, UX 문제는 초반 문제겠군...
그런데 아 너무 찝찝했다. 그래서 해당 단계에 도달한 사람이 다음 단계로 넘어갈 확률을 계산해보니까 완전히 다른 결과가 나왔다.
퍼널은 은행 이자처럼 복리로 작동한다. 각 단계마다 일정 비율의 사람들이 탈락하고, 남은 사람들만 다음 단계로 간다. UX 불편이 이탈사유였던 유저들은 다음과 같은 패턴을 보였다.
- 극초반→초반: 100명 중 60명 통과 (60%)
- 초반→중반: 60명 중 25명 통과 (41.7%)
- 중반→완독: 25명 중 5명 통과 (20%)
- 최종 완독률: 100명 중 5명 = 5%
결국 60% × 41.7% × 20% = 5%라는 복리 구조였던 것. 만약 극초반 120명 탈락만 보고 "극초반 문제"라고 판단하면, 뒤로 갈수록 남은 모수가 줄어들어서 절대 탈락자 수가 적어 보이는 착시가 생긴다. 하지만 실제로는 후반으로 갈수록 통과율이 60% → 41.7% → 20%로 크게 떨어지고 있었다. 모바일에서 특히 실패율이 높았다. 작은 화면에서의 UX 마찰이 시간이 지날수록 견디기 힘들어지는 것으로 해석했다. 그리고 무료 체험 유저가 초반 허들에서 유난히 높은 탈락률을 보였는데, 이들은 아직 투자가 덜 된 상태라 UX 마찰에 더 민감하지 않았을까 싶다. 신규 유저 온보딩을 개선해야 할 지점이라 생각하고 가설 중 하나로 수립했다.
이걸 발견하고 나서 분석 방법을 완전히 바꿨다. 각 단계를 "해당 단계에 도달한 사람 중 몇 %가 통과하는가"로 봐야 왜곡 없이 볼 수 있다는 걸 깨달았다.
'급한 일' 유저 처리 - 데이터를 버리지 않는 법
'급한 일'로 하차한 유저를 어떻게 처리할지 고민이 많았다. 이들은 책이나 서비스 문제가 아니라 외부 요인 때문에 떠난 사람들이니까. 그냥 전부 제외? 하지만 그러면 너무 많은 데이터를 버리게 된다.
그런데 급한 일로 하차한 사람들은 그 급한 일이 발생하기 전까진 서비스를 이용하던 사람들이다. 하차 시점 직전까지의 허들은 이미 통과한 것이다. 초반에 급한 일로 떠난 사람도 극초반→초반 허들은 통과했다. 중반에 떠난 사람은 두 개의 허들을 통과했다. 이런 발상에서 또 허들 분석을 해야하는 이유가 생겼고... 스스로 힘든 길을 택했다^^ 하지만 56명의 급한일 중도하차자를 살리고 싶었다.
허들별 분석
극초반→초반 (통과율 77.9%)
통과율이 높은 편이지만, 여기서 발견한 게 재밌었다. "너무 길어서"나 "지루해서" 하차했다는 사람들이 이 단계는 95%, 90%로 거뜬히 통과한다. 분량 부담이나 지루함은 실제로 읽어봐야 체감되는 문제라는 뜻이다. 책 선택 직후엔 모두가 낙관적이다.
추천 클릭한 사람이 추천을 클릭하지 않은 사람보다 이 구간에서 14.6%p나 높은 통과율을 보인 점도 흥미로웠다.
초반→중반 (통과율 61.0%)
여기서부터 취향 불일치가 본격적으로 드러나기 시작했다. 일단 초반까지 도달한 "지루함" 응답자의 33.3%가 이 구간에서 탈락. 반면 "너무 긺" 초반 도달자는 84.7%가 여전히 통과했다. 분량 부담은 실제로 후반부 문제였다.
연령대 차이(40대 이상 69.7% vs 2030세대 58.7%)도 흥미로웠다. 젊은 세대가 중반 진입 전에 더 많이 이탈한다. 대안 콘텐츠가 넘쳐나는 환경의 영향일까, 독서 습관의 차이일까. 더 파볼 지점. 데이터셋과 데스크 리서치만으로 커버 불가능했다.
중반→완독 (통과율 48.5%)
가장 큰 장벽이었다. 그리고 가장 역설적인 발견이 있었고 결과적으로 이걸 고르게 됐다. 중반까지 도달했고 "추천 실패"를 하차사유로 답한 사람의 80.8%가 완독했다. 처음엔 "뭐지? 추천 실패인데 왜 완독률이 높지?" 싶었다. 하지만 데이터를 더 파고들었더니 재밌는 게 나왔다.
주어진 데이터셋을 보면 이탈사유는 반드시 대답해야하는 영역이다. 100% 독서를 하지 않았기 때문이다. 후반부 진입자는 실질적으로 완독한 사람들이지만, 어쨌거나 100% 다 읽지 않고 이탈했다는 게 시스템상 잡히기 때문에 시스템은 왜 이탈했는지를 물었을 것이다. 그리고 데이터셋을 보면 주관식 대답은 할 수 없다. 따라서 나는 자발적 하차 사유를 응답한 유저들이 '그나마 가장 아쉬웠던' 부분을 응답으로 고른다고 보았다. 자발적 하차의 세부 항목은 '지루함', '너무 긺', '급한 일', '추천 실패'였는데, 이들은 지루하지 않았고 (지루함 선택 X), 분량도 감당 가능했고 (너무 긺 선택 X), 급한 일도 없었다. 단지 그냥 본문을 다 읽었으니 책을 나가려고 한 것뿐이다. 그러니 추천 실패를 고를 수밖에는 없는 것이다.
단지 "내가 정말 원하던 딱 그 책은 아니었다"는 아쉬움을 표현했다고나 할까... 반대로 중반까지 도달했고 "지루함", "너무 긺"을 선택한 사람은 66.7%, 69.5%가 완독까지 이르지 못하고 탈락. 이들은 진짜로 책이 안 맞아서 중반에 포기한 것.
추천 eBook 클릭 유저의 진짜 이탈 사유
더 깊이 파보니 또 하나 발견했다. "지루함" 선택자 중 추천 eBook 클릭한 사람들은 모두 추가 탐색 없이 바로 그 책을 읽었다. (추천 클릭이 TRUE이고 열람도서 유입경로가 전부 '추천'이었음) 그리고 완독률은 전체보다 낮았다.
이건 추천 전자책을 클릭했고 '지루함'을 이탈사유로 선택한 중도하차 유저들의 실제 이탈 사유가 '추천 실패'라는 증거였다. 추천을 믿고 추가탐색 없이 바로 읽었는데, 막상 읽어보니 안 맞았던 것. 추천 받은 책을 읽었는데 지루했으면 그게 추천 실패지, 뭐가 추천 실패겠느냐고.
완독률 순서를 보면 극명한데,
- 지루함 응답자: 20.0%
- 전체 평균: 23.8%
- 너무 긺 응답자: 24.6%
- 추천 클릭 후 바로 추천도서 진입: 26.1%
- 추천 실패 응답자: 44.0%
완독한 사람의 "추천 실패"는 오히려 추천 성공의 신호고, 중도 포기한 사람의 "지루함"이 진짜 추천 실패였던 것이다... 흠좀무...