오늘은 서비스 기획 숙련 과제 진행하기 전부터 같이 살펴보자고 이야기 나눴던 주제에 대해 아티클 카타를 진행했다.
주제: 데이터가 얼마나 중요하고 유용한가, 그리고 데이터는 얼마나 어떻게 위험한가.
데이터 드리븐을 주장하는 내용과 데이터 드리븐의 실패사례를 다루는 내용을 함께 읽으면 좋을 것 같아서 제안했었는데, 오늘 얻은 인사이트가 정말 많아서 뿌듯하다!
아티클들은 내배캠에서 제공한 두 개의 아티클과 조원분들이 아침에 가져와주신 세 개의 아티클을 나누어 읽었다.
조원 분들이 찾아와주신 아티클들이 정말 좋은 배움이 되었는데, 재밌는 건 전부 아침에 서칭한 결과라는 것이다.
리서치부터 제출까지 모든 과제를 함께 진행하다 보니 다들 서치에는 완전 달인이 되었다!!! 너무 든든해!
그리고 튜터님께 카타를 정말 '잘'하고 있다고 칭찬도 받았다. 자세한 내용은 글 말미에!
내용과 깨달음
유저 데이터 분석 방법론 및 인사이트 도출 (+PA툴, BI툴)
유저 데이터 분석을 하게 되면
1) 광고매체 효율에 따라 맞춤형으로 대처할 수 있게 되고,
2) 인터페이스와 사용성 개선, 피드백 기반 문제 해결을 통해 신규 기능을 도출하고 서비스를 향상시킬 수 있으며,
3) 시장을 읽고 고객 로열티를 증진시켜 비즈니스를 성장시키고,
4) 데이터 드리븐 의사결정으로 리소스와 리스크 관리가 용이해 비용이 절감된다.
유저 데이터 분석을 할 때에는 코호트 분석, 퍼널 분석 등의 다양한 방법론을 적절하게 이용할 줄 알아야 하고,
1) 구체적인 가설로 목표를 설정한 후 2) 필요한 데이터를 정의하고, 이후 3) 데이터를 수집하여 정제 및 처리하는 체계적인 프로세스를 요한다. (ADsP, 사조사 공부하며 배운 내용인데 헛으로 딴 게 아니구나, 쓸 데가 있구나 싶어서 기뻤다)
특히 분석하고자 하는 대상을 명확히 해야 한다는 점을 강조하는데, 이것이 타깃분석, 주요 사용자 정의, 페르소나 등으로 불리는 것들이다.
또한 사용자 경로를 분석해 시각화하는 방법론도 소개되어있다.
두 번째 아티클에서는 4주 플랜을 1주차 가장 큰 페인포인트 하나 선택, 2주차 해당 지표 추적 시작, 3주차 데이터 분석하고 첫 개선 액션 실행 4주차 결과 측정하고 다음 단계 설계로 안내했는데, 이 두 아티클을 통합하면 다음 순서가 될 것 같다.
- 구체적인 가설로 목표 설정
- 타깃 사용자 및 페인포인트 선택
- 필요한 데이터 정의
- 해당 지표 추적 (수집)
- 데이터 정제 및 처리
- 데이터 분석
- 개선 액션 실행
- 결과 측정
- 다음 단계 설계
그리고 초개인화 시대에는 고객의 행동을 실시간으로 분석해 대응해야 하고, 팀마다 분석 방법이 다르면 데이터 사일로 현상(같은 데이터인데 팀마다 다른 숫자 도출)이 발생할 수 있기에 데이터 분석 솔루션 사용이 필수적이다.
관련해서 해당 아티클을 정리하신 해연님께서 추가적으로 학습용 아티클을 공유해주셨다. -> 다 대시보드 툴 아니에요? ( BI툴 vs PA툴 )
이 아티클을 읽고, BI툴은 장기플랜, PA툴은 실시간 플랜이나 애자일한 프로젝트에서 제역할을 할 수 있는 툴로 이해를 했다. 어쨌거나 함께 사용하는 것이 좋다고 한다.
데이터 드리븐 문화의 장단점과 PM이 해야 할 일
데이터를 비즈니스 의사결정에 활용하는 방법이 데이터 드리븐만 있는 건 아니다. 1) 데이터 인폼드(Data-Informed), 2) 데이터 인스파이어드(Data-Inspired), 3) 데이터 드리븐(Data-Driven)의 방법이 있을 수 있다.
여기서 데이터 드리븐이란 정말 데이터가 운전을 하는 방법론인지라 선택과 액션을 데이터로 결정하고, 데이터만 입력하면 주관적인 의도 없이 결정을 내릴 수 있도록 하는 방법론이다. 그리고 데이터 드리븐 문화라고 한다면 "정의한 지표가 좋아질수록 서비스가 좋아진다"라고 가정한 후, 지표를 성장시키기 위해 노력하는 문화라고 한다. (조금 위험하게 느껴졌다)
의외로 데이터 드리븐의 핵심은 데이터가 아니라고 말하는데, 요는 '목표로 하는 지표를 설정하고, 액션을 하고, 피드백을 하여 다음으로 나아가는' 일련의 과정과 그 반복이 더 중요하다는 것이다.
흥미로웠던 부분이 데이터 드리븐 문화의 단점이었는데...
먼저 장점의 핵심은 신속성과 즉각성, 그리고 안전함 이었다. 여기서 말하는 안전이란, 빠르게 되돌릴 수 있고 기민하게 변화에 대응할 수 있다는 얘기다. 앞에서 읽은 PA툴 얘기와도 통한다. 아무래도 세상이 너무나도 즉각적으로 변했기 때문에... 단기 플랜에 초점이 맞춰지는 듯했다.
비교적 쉽게 대응이 가능하다는 이유로 단기 플랜이 장기 플랜을 잡아먹게 되면 안 되니까 유니콘 기업들이 연간 계획을 세우고 널리 알리는 것일까 라는 생각도 해봤다.
혁신적인 아이디어는 고점은 대단히 높지만 대부분은 실패하게 되는데, 데이터 드리븐 프로세스를 통해서는 이 창의적인 아이디어를 계속 시도해보면 되기에 리스크가 줄어든다고 한다. 지표가 높으면 벤치마킹하면 되고(똑같이 고점을 누리고), 지표가 안 좋으면 다르게 시도하면 되니까.
다만 데이터 드리븐 조직은 그만큼 수많은 시도를 하기 때문에 지칠 수 있고, 시도가 많은 만큼 실패도 많이 경험해서 회복탄력성이 낮은 팀원들이 상처를 받을 수 있다고...
이 부분에서 "그러면 회복탄력성이 너무 높거나 실패에 둔감한 팀원은 어떨까? 그 사람들도 핏하진 않을 것 같은데?"라는 궁금증이 일어서 튜터님께 여쭈었다. 튜터님께선 PM은 회복탄력성이 높은 게 무조건 좋고, 팀원들이 너무 좌절하거나 실패에 무감각해지지 않게 잘 조정해야 한다고 하셨다. 너무 낙담하면 화이팅하게 하고, 너무 실패를 별 것 아닌 듯 취급하면 경각심도 줘가면서.
데이터 드리븐의 함정과 근본적인 허점
두 아티클은 그냥 한 글처럼 엮어서 써보고자 한다. 내 언어로 바꿔서 써봄.
데이터는 과거의 것
데이터는 과거를 포착한 것이다. 미래의 값인 것으로 착각 금물.
데이터는 살아남은 것
데이터 바깥의 존재도 있다. 예를 들어 우리 서비스 숙련 과제에서 제공된 데이터는 PDP 유입 데이터였는데, 그래서 'PDP -> 장바구니 전환율'은 계산할 수 있어도 '최초 진입 -> 장바구니 전환율'은 계산할 수 없었다.
사람은 내가 아는 무언가의 중요도를 과대평가하는 경향이 있다. 데이터로 존재한다고 해서 더 중요한 게 아니다. 데이터는 '데이터로 살아남은 존재들만' 포착한다.
데이터는 본질이 아니라 데이터일 뿐
데이터는 현상 그 자체가 아니다. 가공된 무언가다. 배우기로는 데이터를 가공해야 정보고, 데이터 자체는 미가공된 것이라고 하지만, 어쨌든 '자료화'되고 '언어화'되었다는 것은 1차적으로 가공이 이뤄졌다는 얘기다.
나이키 아티클에서는 데이터를 전략적으로 사용하려면 양적 데이터를 뒷받침하는 정성적 데이터 즉 '따뜻한 데이터'가 필요하다고 말한다.
인문대 석사를 하면 알게 되는 얘기지만 사회과학분야에서 석사학위논문으로 양적 연구(만 하는 것)는 그리 환영받는 연구가 아니다. 요즘 들어서 양적 연구가 많아졌고 그 효용이 널리 알려지긴 했어도, 좀 '딸깍'이라는 인식이 있고, 실제로 마음을 먹으면 진짜 공장처럼 논문을 찍어낼 수 있다. 그 양을 질적연구자가 절-대 따라갈 수가 없다. 질적연구에 들어가는 절대적 시간의 양이 있기 때문에.
반대로 질적연구는 '꼴랑 몇 명 인터뷰하고 전체인 양 호도한다'라는 비판을 받기도 한다. (질적연구의 목적은 일반화가 아니라 현상을 발굴해내는 것인지라 해당 비판은 조금 부당한 구석이 있다)
양적연구는 나쁘게 말하면 조작이 쉽고, 아는 게 없어도 뭐가 나온다. 해당분야를 아예 몰라도 통계방법론만 알면 '뭐가 나오긴 나온다'. 수많은 도출값들 중에 나에게 유리한 것만 쏙쏙 골라서 논문에 넣으면, '언급되지 않은' 도출값들은 마치 세상에 단 한번도 태어난 적이 없는 양 삭제된다. 누군가 반박하기도 쉽지 않다. 그렇게 결과가 나왔다는데 어떡하겠는가? (물론 이건 석사따리 얘기고 박사나 포닥부터는 완전히 다른 얘기다...)
아티클 카타 진행 후 튜터님께 '데이터로 증명이 불가능한 것들은 어떻게 주장하고, 어떻게 설득해야' 하는지 여쭈어 보았다. 튜터님께선 '일단 들어가 봐야 안다/한다'라는 통렬한 한 마디를 던지시곤 두 가지 아티클을 추천해 주셨다. 주니어 선에서 참고할 수 있는, '어떻게든 데이터 뽑아내는 법'과 '데이터의 함정에 빠지지 않는 법'에 대한 글들이었다.
그리고 말씀하시길, 사실 그런 종류의 의사결정은 대개 시니어 선에서 이뤄지고, 시니어들은 그런 설득을 해야 할 때 해당 도메인에서의 경험('짬바'로 이해했다)과 '감'을 가지고 설득하는 경우가 많다고 하셨다. 그리고 우리가 역기획 프로젝트 발표에서 문제 정의를 '아프니까 사장이다'와 커뮤니티 글들을 가지고 스토리텔링하여 소개했었던 것을 튜터님께서 '매우 공감 가게 설명을 잘했다'라고 칭찬해 주셨었는데, 이걸 언급하시면서 그런 식으로 공감 가는 이야기를 만들어내는 것도 설득의 한 방법이라고 말씀해 주셨다.
이 부분이 매우... 연구 필드와 비슷하다는 생각이 들었다. 결국 정성적 주장에선 '이 사람이 타당한 결론을 도출해낼 수 있는 사람인가'가 중요해지는 부분이. 스피커에 이목이 집중되는 문제를 어떻게 대처해야 할까?
데이터는 읽히는 것
극중 캐릭터의 지능은 작가의 지능을 넘을 수 없다는 말이 있다. 데이터도 비슷한 것 같다. 데이터는 그 자리에 그냥 있지만, 그걸 읽어내고 유의미한 결과를 도출해내는 것은 또 다른 영역이다. 물론 데이터의 질이 낮으면 도출되는 결과도 양질의 데이터이기 힘들다. 하지만 데이터를 다루는 이의 '캐리력'이 더 중요한 것 같다.
관련해서 종호님이 공유해주신 스타벅스 사례가 매우 인상적이었다. 평일에 700만원, 주말에 200만원 매출이 나오던 매장에서 코로나 시기 추석에 100만원도 안 되는 매출을 보고 엔데믹 이후에 인력을 3명만 배치했다가, 추석에 가족 단위 고객이 몰려와 300만원 매출을 찍었었다고 한다. 대응이 거의 불가능했었다고 하는데 사람을 더 많이 배치했다면 매출이 더 높았을 테니 오판의 정도가 더 큰 것이다. 데이터만 보고 판단했을 때 얼마나 큰 오판을 할 수 있는지 단적으로 느껴졌다.
사실 나도 오프라인 기반 사업장에서 일할 때 대표의 희한한 의사결정으로 사업이 수렁에 빠졌던 경험이 있다. 대표가 끌어들인 멤버가 나 외에 해당업계 현장 경력 10년 정도 되는 경력자였는데 데이터 기반으로 말하는 훈련은 안되어 있는 멤버였다. 그래서 대표는 이리저리 입맛에 맞게 수치를 골라내어 그 멤버를 찍어눌렀고 입에 침이 마르도록 데이터와 지표의 중요성을 역설했는데, 결국 모든 게 그 멤버의 예언(?)대로 흘러갔고, 나와 그 멤버가 도저히 답이 없어 탈출한 뒤 사업장은 2개월인가 지나고 바로 망해버렸다. (사실 그 대표가 정량 데이터 분석을 제대로 하지도 않았다. 그냥 숫자 몇 개 떼와서 갖다 붙인 수준...)
그냥 감상
데이터로 증명되지 않는 성과를 만드는 조직은 참 힘들겠다는 생각이 들었다. 공격 받기 쉽고...
아티클에서도 가상의 사례가 나왔는데, 고객이 브랜드를 인지하는 첫인상을 담당하고 인지도를 올려주었던 광고매체의 성과지표가 좋지 않아서 예산을 삭감했더니 ROI를 제외한 모든 지표가 나락으로 떨어질 수 있다는 거였다.
배달의민족은 브랜딩을 위해 출범 초창기에 직원들을 모아다 지점토로 아이콘을 만들게 했다고 한다. 그게 실제로 배민의 브랜딩에 어떤 영향을 미쳤는지 이제 와서 확인할 길은 없다. 그런 건 A/B테스트가 불가능하기 때문이다. 평행우주를 관찰하지 않는 이상은.
결국은 리더의 리더의 리더... 즉 C레벨들의 가치관이 가장 중요하겠구나 라는 감상이다. 조직에서 어떤 가치를 중요시하느냐에 따라 내가 '무엇으로 인정받느냐'가 달라지는 거니까.
캠프 초반 강의에서 자경 튜터님께서 창립자의 가치관과 비전이 입사시에 매우 중요한 정보가 된다고 하셨었는데 그 의미를 또 한번 깨달았다. 처음 들을 땐 별 생각 없었는데 곱씹을수록 정말 중요한 조언이다.
튜터님 칭찬
튜터님께 우리 카타 링크를 공유드린 후 일정을 잡아 피드백을 받았다.
튜터님께서 해주신 조언들은 이미 위에서 버무려 두었으니 스킵하고, 해주신 칭찬만 써보자면
"다른 조에 보여주고 싶을 정도"
"타의 모범이 되는 카타"
우리가 배우는 입장이니만큼 당연히 디테일하게 워딩이나 문장에서 세세히 짚어주고 싶은 부분들이 있지만, 그렇게 문장별로 마이크로하게 피드백하는 것은 의미가 크지 않다고 생각한다고 하셨다. 그리고 카타의 흐름이나 진행이 정말 좋다고, 아주 잘하고 있다고 크게 칭찬해 주셨다.
너무너무 기분 좋다! 나 혼자 칭찬받는 것보다, 다 같이 칭찬받는 게 훨씬 기쁘다. 협업을 잘해가고 있다는 얘기라.
내가 맡은 아티클 카타 정리본
1. 아티클 정보
27화 데이터 드리븐의 역설
분석이 실행으로 이어지지 않는 4가지 이유와 3가지 해법 | 조직이 데이터 기반 의사결정을 강조할수록, 실무자들은 더 정교한 분석 도구를 도입하고 방대한 지표를 수집합니다. 하지만 데이터
brunch.co.kr
2. 핵심 내용 요약
데이터 분석이 실제 임팩트로 이어지지 않는 이유
- 상관관계와 인과관계 혼동, 변인 통제 실패 등 통계적 이해도 부족
→ 현상에 대한 분석이 원인에 대한 증명으로 이어지지 않을 때 조직은 멀쩡한 프로세스를 수정하게 될 수도 있음
전환율이 떨어졌다! ❌
전환율이 어떤 유입 소스의 어떤 코호트에서 떨어졌는가? ⭕️
사례) 외부 인플루언서 바이럴로 저관여 유저가 대량 유입되자 ‘장바구니 전환율’ 지표가 급락하여 엉뚱한 곳을 긁는 사례 - 고객 여정을 파편화해 일부 단계만 포착하는 데이터
→ 고객의 구매 여정은 비선형적+다차원적인데, 실무자가 마주하는 데이터는 특정 채널이나 특정 시점에 매몰되어 있다. 이를 전사적 맥락에서 해석해야 함
사례) 브랜드를 각인시키는 광고 매체를 ‘성과가 낮다’라는 이유로 예산 삭감하여 ROI는 상승했는데 브랜드 검색량 급감, 직접 유입 매출 급감한 사례 - 생존자 편향
→ ‘이미 살아남은 사람들’만 볼 수 있다는 점을 항상 기억해야 함
사례) 데이터에 잡히지 않는 ‘이탈자’와 ‘미진입자’의 진입 장벽을 고려하지 못해 이탈률이 상승한 사례 - 액션 플랜이 없는 인사이트
→ 좋은 분석은 인사이트 도출에서 끝나면 안 됨. 그 인사이트를 실행 가능한 단위로 분해하고, 필요한 리소스를 명시하며, 우선순위를 제시하는 것까지 포함해야 함
→ 분석 결과 도출된 인사이트가 개발 로드맵이나 운영 리소스와 이어지지 않게 되는 경우 많음. 자꾸 ‘지금 당장 손댈 수 있는 것’으로 후퇴
실천 원칙
- 실행 가능한 질문으로 시작하기
- 우리가 통제 가능한 변수 확인
- “왜?” → “무엇을 어떻게?”
- 리소스 현실성 검토
“왜 신규 유입 품질이 낮은가?” : “타겟팅이 부정확해서” ← 여기서 끝나면 안됨 - “이 분석 결과로 무엇을 바꿀 수 있는가?”
인과관계 검증하는 분석을 설계하기- 가설 검증 방법 생각하는 것 필수
- A/B테스트, 코호트 비교, 회귀 분석 등
- 다른 변인 통제해야 함 (테스트하고자 하는 것만 차이를 주기)
- 인사이트를 실행 가능한 형태로 번역
1 단계별 분해 → 2 리소스 명시 → 3 우선순위 설정
“그래서 무엇을 어떤 방식으로 어디까지 바꿀 것인가”
데이터를 잘 읽는 것도 중요하지만, 비즈니스를 잘 읽는 것도 중요하다
데이터 리터러시 < 비즈니스 리터러시라고 하는데 이 부분은… 동의가 안 된다. 비즈니스 리터러시라고 명시한 요소들도 데이터 리터러시 같아서. 글 곳곳에서 챗 지피티의 흔적이 보이는데, 챗 지피티로 글을 다듬다 보니 과한 대조를 사용한 듯하다.
데이터 드리븐 → 실행 드리븐
나침반이 정교해도, 걷지 않으면 아무짝에도 쓸모없다.
“이 데이터가 내일의 실행을 바꿀 수 있는가?”
흥미로운 점/새롭게 알게 된 점
- 읽으면서 가장 흥미로웠던 부분
- 우리 서비스 기획 숙련 과제에서 배운 내용, 튜터님들이 해주신 피드백이 ‘제대로 데이터를 읽는 방법’을 다루고 있었다는 것을 깨달음.
- 기획자는 통계 지식이 있어야 한다. 복잡한 것 말고, 기본적인 것. 변인 통제, 인과관계와 상관관계의 차이 등.
- 데이터 밖에 있는 데이터는 포착하지 못한다. 우리 서비스 기획 숙련 과제와도 이어지는데, 해당 과제에서 주어진 데이터는 ‘이미 PDP에 진입한 사람들’을 다루는 데이터였음. 만약 이 데이터만 가지고 분석을 한다면, ‘PDP에 진입률’에 대해 함부로 예측할 수 없다.