7가지 코드 - CODE 5 데이터과학

Day 28 / 230911 MON

+) 데이터는 논쟁을 이긴다

• 데이터는 팀과 회사의 성공을 측정하는 방법으로, 제품과 전략을 결정하는 데 핵심적인 역할을 함
• 데이터를 측정하는 방법, 중요한 숫자를 다루는 방법, 중요한 데이터를 선택하는 방법을 익혀야 함

 

20장 데이터 분포

1) 정규분포

• 정규분포 = 종형곡선 = 가우스분포

: 하나의 평균값에 모여 있고 평균값에서 양방향으로 멀어질수록 하락하는 데이터의 확산

• ex. 신장, 혈압, 시험 성적, 물건의 가격 등

 

2) 비대칭분포

• 분포가 비대칭일 경우 평균값은 이상치에 매우 민감해서 중앙값이 더 유용함
• 극단의 왕국 : 인간 세계의 수많은 제도가 비선형적인 혜택을 제공하기 때문에 작은 강점을 지닌 이들이 두드러진 성공을 거둘 수 있는 세상

 

3) 멱함수 분포

: 숫자 0 근처에서 최고점을 찍고, 오른쪽으로 매우 긴 꼬리 모양을 띠는 분포

• 최상위에서 낮은 순위로 내려갈 때 급격한 하락이 나타남
• ex. 미국 최상위 웹페이지 트래픽 분포 등
• 80/20 규칙 = 파레토 법칙 : 분포의 최상위 20%가 결과물의 약 80%에 기여함
• ex. 최상위 20%의 버그를 해결해서 80%의 작업 효과를 얻을 수 있음 ⇒ 투자 시간 대비 높은 ROI 얻음

 

Day 29 / 230911 MON

21장 실험

• 실험은 제품 변경이 목표에 다가서는 데 도움을 주는지 확인할 수 있는 가장 간편하고 빠른 방법임

1) A/B 테스트

: 두 변수 집단이 관심 지표에 어떤 성과로 나타나는지 비교해보는 방법

• 시제품 아이디어를 현실화할지 판단할 수 있는 도구
• ex. 구글 - 광고 링크의 40가지 파란 음영 중 가장 효과적인 색상을 공략했을 때 광고 매출 2억 달러 증가
• 2009년 구글에서 진행한 1.2만번의 테스트 중 10%만이 뚜렷한 개선점으로 이어졌지만, 작은 승리는 노하우로 누적되고 값진 자산임

 

2) 유의성 검정

• A : 통제 버전, B : 실험 버전으로 나누어 테스트 진행
• 작은 표본으로 실험을 진행한 경우 일반화를 할 수 있는지 통계적 유의성 검정을 해야 함
• 통계적 유의성 검정은 가장 비관적인 관점인 귀무가설을 세우는 것이 기본임
  • ex. 새로운 기능은 아무것도 변화시키지 않았고, 작은 표본은 전체를 대표하지 못한다
• 신뢰구간 : 실제 수치가 포함될 가능성이 큰 범위를 제시함
  • 연속형 변수 : 스튜던트의 두 꼬리 T-검정 이용
  • 이산형 변수 : 피어슨의 카이제곱 검정 이용
• 신뢰수준 : 표본에 의한 조사 결과의 확실성 정도
• p값 : 실제 평균차가 0 이하일 정확한 확률
• 신뢰구간이 0을 포함할 때 귀무가설 기각에 실패
• 신뢰구간이 0이상이면 귀무가설이 기각되고 통계적으로 유의하다는 판단 가능

 

3) 표본 추출

• 표본 그룹이 커질수록 신뢰구간이 좁아져 통계적으로 유의미한 결과치를 얻기 쉬움
• 1% 실험 : 사용자 기반의 1%에 실험적 기능을 적용하고 나머지 99%는 통제 그룹으로 적용

 

4) 단계별 시행

• 홀드백 그룹은 제품 기능 출시가 지표에 제대로 영향을 미치는지 확인할 마지막 기회임

 

5) 뉴질랜드 전략

• 소셜 기능의 경우 임의 표본 추출 전략이 불가능 ⇒ 뉴질랜드처럼 작고 분리된 국가의 국민 모두에게 기능을 제공하는 전략 고안
• ex. 페이스북 - 디스커버 피플 / 도미노피자 - 드론 기반 피자 배달 / 포켓몬 고 등
• 뉴질랜드 전략은 무작위성의 가정을 깨뜨려야 하기 때문에 실험 그룹이 일반 인구를 대표한다는 사실을 증명할 수 있어야 함
  • ex. 문화권마다 같은 색상에 대한 인식이 다름

 

Day 30 / 230913 WED

6) 함정

• 맹목적인 A/B 테스트 결과 적용은 서비스 고유의 아이덴티티를 훼손시킬 수 있음
• 단기적인 지표 개선에 집착하면 장기적인 맹점이 있을 수 있음
• A/B 테스트는 베타테스터 중에서 임의로 선택된 부분집합에 기능을 제공하는 것이 바람직함
• 베타테스터가 충분히 큰 표본 크기를 가졌는지, 그들이 더 넓은 범위의 인구를 대표하는지 확인해야 함
• 체리피킹 : 많은 데이터를 훑어보다가 우연히 주장을 뒷받침하는 일부를 골라서 전체 데이터가 유리하게 적용되는 것처럼 보이게 하는 전술
• A/B 테스트 후 모든 지표를 살펴보고, 좋거나 나빠 보이는 지표를 체리피킹 하지 않도록 주의해야 함
• 실험하기 전에
  • 실험을 마치는 특정 날짜를 설정하기 (3-4주 뒤 권장)
  • 혹은 특정 표본 크기가 도달됐을 때 실험 마치겠다고 계획하기
  • 어떤 지표를 고려할 지 미리 결정하고, 실험이 다 끝났을 때 지표 관찰하기
• 실험할 때는 성공 지표 뿐만 아니라 성공 지표에 도움이 되었을 때 손해를 볼 수 있는 지표인 반대 지표도 살펴봐야 함
• 신규효과 : 기능에 변화를 주었을 때 사용자들의 관심을 끌어서 일시적으로 클릭 수나 사용량을 증가시킬 가능성이 생기는 현상
• 학습효과 : 시간이 지날수록 학습하여 처음과 달리 지표가 점점 개선되는 현상

 

Day 31 / 230914 THUR

1) 스타트업을 위한 해적 지표

• AARRR : 획득(Acquisition) / 활성(Activation) / 유지(Retention) / 추천(Referral) / 매출(Revenue)

① 획득지표

• 얼마나 많은 관심을 이끌어내고 있는지 나타내는 지표
• ex. 회사 랜딩페이지가 조회된 횟수, 구글에서 검색 키워드 순위, CTR(클릭률) 등
• ROI(투자수익률)을 심화적으로 살펴볼 수 있음
  • ex. 웹사이트 클릭 1회당 마케팅 비용, 구글과 같은 플랫폼에 지출하는 광고비 등

② 활성 지표

• 전환율 : 획득해온 잠재고객들이 계정을 가진 사용자로 전환되는 비율

③ 유지 지표

• 사용자가 제품을 계속 사용하도록 하는 것이 신규 고객 유치보다 효율적임
• ex. MAU, DAU, 유지율(D1, D7, D30 유지), 이탈률, 방문 시간, 한달에 n번 이상 방문하는 사용자 비율, 고착도(DAU/MAU) 등
  • 유지율 : 일정 시간이 지나고 난 이후 일정한 시점까지 여전히 사용자로 남은 사용자의 비율
  • DN : 가입 후 N일 이후에도 여전히 활성화되어 있는 사용자의 비율
  • 이탈률 : 제품 사용을 중단한 사용자의 비율 = (100% - 유지율)
  • 이탈은 코호트 집단을 선택하여 측정됨
  • 고착도 : 월간 활성 사용자가 제품을 사용하는 평균 일수

④ 추천 지표

• 제품을 좋아하게 만들어서 그들이 친구들을 초대하게 만드는 것이 관건
• ex. NPS(순추천고객지수) : 고객 경험 측정 기준의 세계적인 표준으로서 기업 충성도를 측정하는 지표
  • 0~6점 : 비추천고객 / 7~8점 : 수동적 고객 / 9~10점 : 추천고객
  • NPS = 추천고객비율 - 비추천고객비율
• ex. 친구를 추천한 사용자 수, 전송된 초대 수, 수락된 초대 비율, K(바이럴 계수), VCT(바이럴 주기 시간) 등

⑤ 매출 지표

• 매출은 순익에 가장 큰 영향을 주는 지표임
• 광고 - 광고를 클릭하는 사용자의 비율과 광고당 평균 수익, CPM(조회 1000번당 수익)
• 이커머스 - AOV(평균 주문 가치), 장바구니 사이즈
• 휴대전화 - ASP(평균 판매 가격)
• 사용자를 유치하는데 지출한 광고와 서버 비용보다 사용자가 벌어다주는 돈이 더 많은 게 중요함

 

Day 32 / 230915 FRI

2) 선행 지표

: 특정 중요 지점을 넘었을 때 어떤 높은 가치를 지닌 결과가 나타날 가능성이 커지는 지표

• ex. 슬랙 - 메시지 2000번 이상 보내게 만들기
• 선행 지표에 대한 통찰은 신규 고객의 온보딩 경험을 설계하는 데 유용함
• X라는 행위의 실행 여부에 따라 유료 고객 여부가 결정된다면, X는 좋은 선행 지표임

 

3) 허영 지표와 실제 지표

• 보기 좋은 그래프가 나타내는 숫자는 실제로는 수익성과 전혀 연관이 없을 수도 있음
  • ex. 총 회원가입 수, 웹페이지 방문자 수, 앱스토어에서의 다운로드 수 등
• 처음에는 유용했던 지표가 시간이 지나면서 허영 지표가 되기도 함
  • ex. 엑스박스 - 게임 콘솔 판매 대수
• 팀 전체가 결집할 하나의 ‘북극성’ 지표도 좋지만 단독적인 강조는 전체 숲을 보는 데 방해가 될 수 있음

 

23장 지표 모델

1) 서비스형 소프트웨어

• 비즈니스용 소프트웨어(기업용 소프트웨어 혹은 B2B 소프트웨어)
• 장점
  • 기업들이 지속적인 업데이트를 받고 안정적인 지출을 할 수 있음
  • 제작자에게 지속적인 수입을 가져다 줌
• 주요 지표 : 유료 사용자로 업그레이드하는 사용자의 비율
  • ARPPU(유료 사용자당 평균 수익) ⇒ 유료 사용자 수가 매출 결정
• 이번 달 MAU = 지난 달 MAU + 신규고객 + 이탈한 사용자

 

2) 프리미엄 앱

• 일반 소비자를 대상으로 인앱 구매, 구독 형태로 유료 업그레이드를 제공하는 모든 제품
• 주요 지표 : 인앱 구매 방식 - 고래의 수
  • ARPPU(유료 사용자당 평균 수익) ⇒ 고래 사용자가 매출 결정

 

3) 광고가 있는 UGC(사용자 생성 콘텐츠)

• 포스팅을 생성하는 사용자를 중심으로 구성되는 제품
• 사람들이 오래 머무르도록 해서 광고를 통해 이익을 얻는 것을 목표로 함

 

Day 33 / 230918 MON

• ToS(Time on Site) : 사이트에 머문 시간 ⇒ 더 많은 광고 ⇒ 더 많은 수익
• 사람들을 더 오래 머물게 하려면 더 많은 콘텐츠를 추가해야 함
  • ex. 스토리 기능 - 스냅챗, 인스타그램
• 자동재생 비디오, 무한 스크롤을 통해 플랫폼 고착도를 높일 수 있지만 비판의 소지가 있음
• UGC 제품의 최종 목표는 모든 사용자를 크리에이터로 만드는 것임

 

4) 양방향 마켓플레이스

• 구매자와 판매자 매치시키고 거래마다 수수료 적용
• ex. 우버, 리프트, 에어비앤비, 도어대시, 엣시, 이베이 등
• 공급과 수요가 불균형할 경우 공급을 먼저 만드는 것이 효율적임
  • 공급자들은 보통 입소문을 내지 않지만, 수요자들은 긍정적인 피드백 루프를 통해 유기적으로 성장해서 파급 효과를 낼 수 있기 때문
• 판매자와 구매자의 균형을 맞추는 것이 중요함
• 양방향 시장의 경우 ‘성사된 거래 수’라는 북극성 지표에 집중

 

5) 이커머스

• 물리적인 상품을 다루는 서비스
• 생산자 직송 비즈니스 : 생산자가 구매자에게 물건을 직접 배송하는 비즈니스
• D2C(Direct to Customer) : 기업이 소비자와 직거래하는 형태의 비즈니스
• 핵심 지표 : 장바구니 사이즈(=AOV(평균 주문 가치)), 구매 전환율, 포기율, AARRR 지표
• 장바구니 사이즈는 사용자 획득, 제품 배송, 상점 운영에 필요한 고정비용을 상쇄시킬 수 있어야 함
• 연간 재구매 비율의 정도에 따라 일회성 구매자와 충성고객 중 누구에게 집중할지 결정해야 함

 

Day 34 / 230918 MON

24장 데이터 스토리텔링

• 설득력 있는 이야기와 비전을 갖추고 난 뒤 이를 뒷받침할 근거로 데이터를 사용해야 함

1) 사람들의 창의적인 면을 끌어들여라

• 숫자를 중점으로 어필하기보다 스토리를 통해 청자의 상상력을 자극하는 것이 때로 효과적임
• 사례, 이야기, ‘만약 ~하다면’ 시나리오를 중심으로 주장을 펴고, 데이터는 여러분의 주장을 뒷받침하는 데에만 사용해야 함

 

2) 사람들에게 어떤 생각을 해야 할지 말해주어라

• 모호한 데이터에 핵심 주장을 담은 제목을 반드시 적어주는 것이 좋음

 

3) 오해의 소지가 있는 척도는 피하라

• 실제보다 더 좋아 보이도록 척도를 왜곡하는 것은 제품에 대한 이미지를 오히려 나쁘게 만들 수도 있음

 

4) 이야기를 통제하라

• 버라이즌, AT&T의 사례처럼 똑같은 데이터에 대해 다양한 관점으로 논리를 전개하는 역량이 필요함

 

+) 데이터만큼 보이지 않는 것도 중요하다

• 기존 스티브 발머의 관료주의적 경영 체제에서 사티아 나델라의 실수하며 성장하는 업무 문화 혁신을 통해 구글의 신뢰성을 회복함
• 리더는 유형의 요소를 극대화하는 것만큼 무형의 요소를 이해하는 것도 중요함
• 질적 지표에 집중하면 결국 장기적으로 양적 지표에 도움이 됨