What is 지표

PM오픈채팅방에서 여러 얘기들을 읽다보면 가장 많이 보이는 단어가 "지표"였다. 어떤 분이 친절하게도 Lean Analytics라는 책을 읽고 현업을 하시며 본인한테도 도움이 될것같다며 정리해둔 좋은 글을 알게 되어서 나도 정리를 해보려고 한다!

좋은 지표란?

좋은 지표의 특징

• 상대적
  비교할 대상(시간대, 경쟁사 등)이 있다면 지표의 상황을 이해하는데 도움이 된다. 
  예를 들어 "A사 대비 우리 회사의 매출은 10% 더 높다", "지난달보다 구매 전환율이 10% 증가했다"처럼 비교 대상을 명시해 줄 수 있다면 더 쉽게 이해할 수 있다. 
• 이해하기 쉬움
  지표는 결국 사람들의 의사결정을 돕기 위해 존재한다. 
  그렇기 때문에 지표를 보는 사람들이 기억하고 대화를 나눌 수 있도록 이해하기 쉽게 만들어야 데이터의 변화를 현실의 변화로 옮길 수 있다. 
• 비율로 표현
  비율의 장점은 다음과 같다. 
  • 행동 반영하기 쉽다. 
    자동차 운전시 속도(시간당 이동거리)를 표시함으로써 운전자는 속도를 조절하는 행동을 할 수 있다. 
  • 비교의 속성이 있다. 
  • 비교하기 수월하다
    자동차 운전시 이전 한시간의 평균속도와 지금의 속도를 비교한다면, 속도를 높이고 있는지 줄이고 있는지 알 수 있다. (추세인지 일시적 현상인지 파악 가능)
• 행동 방식을 바꿈
  지표를 결정할 때 가장 중요한 조건이다. 
  지표가 변화하면서 어떤 행동을 할 것인지 도움을 줄 수 있다면 일이 우왕좌왕하는 것을 방지할 수 있으며, 행동의 기준이 될 수 있기 때문이다. 

---

정성적 지표와 정량적 지표 

정량적 데이터

영화의 평가점수, PageView와 같이 정량화하여 측정할 수 있는 데이터이다. 
정량적 데이터는 객관적이고, 함수를 추정해 값을 예측할 수 있다. 
하지만 "왜"에 대한 답을 제공하기 어렵다. 유저가 불편을 느낀 것이 어떤 것인지 정량적 데이터로 유추해 볼 수 있지만 이것 때문이다라곤 말하기 어렵..

정성적 데이터

인터뷰나 토론같은 체계적이지 않고 주관적인 데이터이다. 
정성적 데이터는 정량화하기도 측정하기도 힘들다. 
정량적 데이터가 "무엇"과 "얼마나"에 대한 답을 제공한다면, 정성적 데이터는 "왜?"에 대한 답을 제공한다. 
좋은 정성적 데이터를 얻기 위해서는 유저에게 대답을 유도하거나 왜곡하지 않아야 하며, 구체적인 질문을 통해 답을 얻어야한다. (심리학에서 실험을 할 때 연구자가 피실험자에게 어떠한 영향도 끼쳐서는 안되는 것과 동일한 개념)

---

허상 지표와 실질 지표

허상 지표

많은 기업들은 data-driven 방식을 사용한다. 하지만, data를 활용할 뿐 driven을 하지 않는 경우가 많다. 

허상 지표란, 실행에 옮길 수 없는 지표이다. 

기분은 좋게 만들지언정 데이터가 정보를 제공해주고 방향을 제시해주며 사업 모델을 개선시키고 행동을 결정하는 데 도움이 되지 않는다. 

어떤 지표를 볼 때 이 정보로 내가 무엇을 할 수 있을지를 항상 생각한다면 허상지표의 늪에 빠져 허우적대는 일을 줄일 수 있고 비로소 "data-driven"하게 일을 할 수 있다. 

대표적인 허상지표 예시들
- 전체 가입자 수: 시간이 지날수록 우상향 할 수 밖에 없다. 
- 전체 활동 사용자: 가입자 수보다는 better한 지표지만 이 또한 시간이 지나면 상승한다. 
- Hit 수: 웹 서버에서 가져올 파일이 많으면 높게 나오기 마련 -> 대신 사용자 수를 세야함
- PageView: Hit 수보단 낫지만, 온라인 광고가 아니라면 사용자 수를 세는 것이 낫다. 
- 방문 수: 한사람이 백번 방문한건지, 백명이 한번씩 방문한건지 구분할 수 없다. 
- 순수 방문자 수: 방문한 사람의 수를 알려줄 뿐, 몇번 방문했는지&무엇을 했는지&웹에 머무르는지 떠났는지 여부를 알 수 없다. 
- 팔로워/친구/좋아요 수: 단순한 인기 겨루기에 불과하다.
- 사이트에 머무른 시간/ 페이지 수: 유저 유입이나 활동에 대해 알려주지 않는다. 그리고, 고객 불만 페이지에서 높게 측정된다면 분명 좋은 일은 아닐 것이다. 
- 수집된 이메일 수: 오픈율, 클릭율도 있다면 모를까 단순히 이메일이 많다고 도움이 되는건 아니다. 테스트를 통해 이메일에 잘 반응하는지 봐야한다. 
- 다운로드 수: 다운로드 수는 랭킹에 영향을 줄 수 있지만 실질적 가치로 이어지기 어렵다. 활성화 유저(DAU, MAU), 새로운 계정 수(NRU) 등을 측정해야 한다. 

실질 지표

데이터가 제공해주는 정보를 통해 방향을 제시해주며 사업모델을 개선시키고 행동을 결정하는데 도움이 되는 지표이다. 

하지만 실질지표도 만능은 아니다. 무엇을 해야하는지 알려주지 않기 때문인데 이는 탐색을 통해 무엇을 테스트할지, 어떤 행동을 취할지 결정해줘야 한다. (중요한 것은 데이터를 바탕으로 뭔가 행동을 취한다는 것이다)

실질 지표 예시
- 활동사용자 비율: 사용자의 참여도를 알려준다. 제품 수정 테스트를 통해 바뀌는 지표를 확인해본다면 유용한 인사이트를 얻을 수 있다.
- 특정 기간동안 확보한 유저 수: 특히 다양한 마케팅 방식을 비교할 때 유용하다. (첫 주는 페북 광고, 둘째 주는 인스타 광고 등)

---

탐색 지표와 보고 지표

보고 지표

책에서는 "모른다는 것을 아는 것"이라고 표현했다.

표현이 애매하기 때문에 표현을 바꿔보면 "구체적으로 모르지만 측정을 통해 알 수 있는 것"이라고 할 수 있다.

보고지표는 말 그대로 측정을 통해 알 수 있는 지표들(실험결과 보고, 매출은 얼마인지 등)로 어떤 경우든 필요한 지표값

 

탐색 지표

책에서는 "모른다는 것을 모르는 것"이라고 표현했다.

바꿔 말하면, "아무도 모르는 숨겨진 비지니스를 찾기 위해 탐색하는 것"이다.

 

서클오브맘즈라는 앱 예시를 들었는데 이들은 특정한 콘텐츠를 공유하는 친구들 모임을 만드는 페이스북 앱으로 시작하였지만, "엄마들"이라는 사용자군을 발견하고 비교대상을 전체유저 집단으로 둔 지표(엄마들이 주고받은 메세지 길이, active user 등)를 통해 빠르게 피벗하여 성공을 거뒀다고 한다.

---

선행 지표와 후행 지표

선행 지표

선행 지표는 미래를 예측하는 데 사용된다.

"영업 퍼널의 현재 잠재 고객수" 같은 지표는 신규 고객을 얼마나 확보할 지 예상할 수 있다. 잠재 고객 수의 증가는 신규 고객의 증가로 이어질 수 있기 때문에 잠재고객을 어떻게 측정할 것인지도 중요한 포인트가 아닐까?

 

후행 지표

후행 지표는 과거를 보는데 사용된다.

이탈률 같은 지표는 서비스에 문제가 있는지 없는지의 여부를 알려주는데, 소 잃고 외양간 고치는 특징(문제를 파악할 때면 이미 늦었다!)이 있다. 

---

상관 지표와 인과 지표

상관 지표

두 변수 사이에 상관 관계가 있는지 살펴볼 수 있는 지표이다. 

⭐️ 상관 관계는 인과관계로 오판해서는 절대 안된다.

대표적인 예시로 아이스크림 소비와 익사 건수는 상관관계가 있지만 인과관계라고 볼 수 없다. 아이스크림 소비 수로 장례식장의 사업 주가를 예측하려고 하는 우를 범하지 말아야한다. 당연히 함께 증가하는 이유는 "여름"이라는 confounding 변수가 있기 때문이다. 

물론 두 지표 사이에 상관관계를 찾는 것은 앞으로 일어나는 일을 예측하는 데에 도움이 되긴 한다. 

 

인과 지표

원인 & 결과가 명확한 지표이다. 

보통 인과관계는 1:1 관계는 아니다. 많은 요인이 복합적으로 작용하기 때문에 완벽한 인과 관계를 알아내기는 힘들다. 하지만 부분적인 인과관계라도 도움이 된다.

인과 관계 입증을 위해서는 상관관계를 찾고 변수를 통제하며 차이를 측정하는 실험을 통해 인과관계를 입증해야 한다. 

(샘플 수는 많은게 좋다 → 사람들이 다 똑같지 않으니까 / 유저가 엄청 많으면 모든 변수를 통제하진 않아도 신뢰할 만한 테스트가 가능)

 

상관 관계를 알면 도움이 되긴 하지만 인과 관계가 더 큰 도움이 되기 때문에 인과 관계를 찾으려 노력하자!

 

참고 블로그