[마케팅 데이터 함정 퀴즈 3편] 평균의 함정: 숫자가 진실을 가리는 6가지 트릭

마케팅 데이터 함정 퀴즈 시리즈 3편입니다. 1편, 2편에 이어, 이번에는 평균과 통계가 만들어내는 속임수를 다룹니다.

---

Q16. 학과별로 보면 여성 합격률이 남성보다 높은데, 전체로 보면 남성 합격률이 더 높습니다. 성차별일까요?

⚠️ 이것은 '심슨의 역설(Simpson's Paradox)'입니다.

1973년 UC 버클리 대학원 입시에서 실제로 벌어진 사건입니다. 전체 데이터만 보면 남성 합격률(44%)이 여성 합격률(35%)보다 높아 성차별 소송이 제기되었습니다.

하지만 학과별로 쪼개서 보니, 거의 모든 학과에서 여성 합격률이 남성과 같거나 더 높았습니다. 전체 합산 결과가 뒤집힌 이유는, 여성 지원자들이 합격률이 낮은 경쟁 치열한 인기 학과(영문학, 역사학 등)에 몰려 지원했고, 남성은 합격률이 높은 학과(공학, 자연과학 등)에 상대적으로 많이 지원했기 때문입니다.

마케팅에서도 동일합니다. "모바일 전환율이 PC보다 낮으니 모바일 예산을 줄이자"고 결론내리기 전에, 채널별·카테고리별로 데이터를 쪼개 봐야 합니다. 모바일에서 전환율이 낮은 진짜 이유가 UX 문제(결제 과정이 불편)일 수 있고, 특정 카테고리에서는 모바일이 압도적일 수도 있습니다.

---

Q17. "10명 중 9명이 3개월 내 합격!" — 이 광고를 믿어야 할까요?

❌ 절대 안 됩니다. 2가지 데이터 마사지(Data Massage)가 숨어 있습니다.

이것은 실제 에듀윌 사태입니다. 공정거래위원회 조사 결과 두 가지 기만이 밝혀졌습니다.

기만 1: 표본 크기(Sample Size)의 함정 "10명 중 9명"이라는 말은 수천 명의 수강생 통계인 줄 알지만, 실제로는 자체 설문조사에 응답한 단 10명 중 9명이었습니다. 통계학적으로 의미 없는 극단적 소표본을 전체 성과처럼 포장한 것입니다.

기만 2: 기준점의 왜곡 "3개월 내 단기 합격"은 수험 준비 전체 기간이 아니라, 에듀윌 강의 수강 이후 합격까지 걸린 기간만 측정한 것이었습니다. 다른 학원에서 1년 넘게 공부하다가 마지막에 에듀윌을 3개월 들은 사람도 "3개월 단기 합격자"로 분류되었습니다.

🔗 더 알아보기: "10명 중 9명 합격"의 함정: 에듀윌 사태로 본 데이터 마사지

---

Q18. 평균 고객 LTV가 50만원입니다. 고객 한 명당 50만원까지 써도 된다는 뜻일까요?

❌ 평균은 분포를 숨깁니다.

평균 LTV 50만원이라는 숫자 뒤에는 극단적인 분포가 숨어 있을 수 있습니다:

• 상위 10% 고객의 LTV: 300만원
• 중위 50% 고객의 LTV: 15만원
• 하위 40% 고객의 LTV: 3만원

이 상황에서 고객 한 명 획득에 50만원을 쓰면, 상위 10% 외에는 전부 적자입니다. 신규 획득 고객 대부분은 하위 40%에 해당할 가능성이 높으므로, 실제 CAC(고객 획득 비용) 상한선은 평균 LTV가 아니라 신규 고객의 중앙값(Median) LTV를 기준으로 설정해야 합니다.

또한, LTV 계산 자체에도 함정이 있습니다. 할인율(Discount Rate)을 적용하지 않거나, 이탈률을 지나치게 낙관적으로 가정하면 LTV가 실제보다 크게 부풀려집니다.

🔗 더 알아보기: CEO와 CMO의 데이터 동상이몽

---

Q19. A/B 테스트 결과 p-value가 0.04입니다. 통계적으로 유의하니 확정해도 될까요?

⚠️ p-value 하나만으로 결정하면 위험합니다.

p-value 0.04는 "우연히 이런 차이가 발생할 확률이 4%"라는 뜻입니다. 보통 5% 미만이면 "유의하다"고 판단합니다. 하지만 여기에는 여러 함정이 숨어 있습니다.

다중 비교 문제(Multiple Comparisons): 만약 10개의 변수를 동시에 테스트했다면, 순전히 우연만으로도 하나쯤은 p < 0.05가 나올 확률이 40%입니다. "이것저것 다 테스트해보다가 하나 걸렸다"는 것은 과학적 발견이 아니라 통계적 낚시(p-hacking)입니다.

표본 크기와 실질적 의미: p-value가 아무리 작아도, 실제 효과 크기(Effect Size)가 비즈니스적으로 의미 없을 수 있습니다. 전환율이 2.00%에서 2.02%로 올랐다면, 통계적으로 유의해도 실무적으로는 의미가 없습니다.

---

Q20. 전환율이 2%에서 2.5%로 올랐습니다(+25%). 대단한 성과일까요?

⚠️ 상대적 변화와 절대적 변화를 구분해야 합니다.

"+25%"라는 숫자는 상대적 변화(Relative Change)입니다. 실제 절대적 변화(Absolute Change)는 2%에서 2.5%로, 단 0.5%p입니다.

대행사나 플랫폼은 성과를 크게 보이게 하기 위해 의도적으로 상대적 변화를 사용합니다. "CTR이 50% 올랐습니다!"는 0.2%에서 0.3%로 0.1%p 오른 것일 수 있습니다.

반대 방향도 마찬가지입니다. "이탈률이 100% 증가했습니다!"는 0.5%에서 1%로 오른 것일 수 있어, 실제로는 큰 문제가 아닐 수 있습니다. 항상 절대적 수치를 함께 확인하는 습관이 필요합니다.

🔗 더 알아보기: 경영진을 속이는 리포트와 대시보드 시각화 원칙

---

Q21. 대시보드 그래프의 Y축이 98%~100% 범위입니다. 큰 변동처럼 보이는데 실제로도 그럴까요?

❌ 전형적인 Y축 절단(Truncated Axis) 트릭입니다.

대시보드에서 고객 만족도가 98%에서 99%로 올랐을 때, Y축 범위를 0%~100%로 설정하면 거의 평평한 직선으로 보입니다. 하지만 Y축을 97%~100%로 좁히면 마치 극적인 상승처럼 보입니다.

반대로, 성과 하락을 숨기고 싶을 때는 Y축을 넓게 잡습니다. ROAS가 500%에서 300%로 40% 폭락했는데, Y축을 0%~2,000%로 설정하면 시각적으로 "별 변화 없네"라는 인상을 줍니다.

이것은 대행사 리포트에서 가장 흔하게 발견되는 시각적 기만입니다. 대시보드를 볼 때는 반드시 Y축의 시작점과 스케일을 먼저 확인하세요.

🔗 더 알아보기: 경영진을 속이는 리포트와 대시보드 시각화 원칙

---

이 시리즈의 다른 글

• 📊 1편: 인과관계 vs 상관관계
• 📊 2편: ROAS의 거짓말
• 👻 4편: 노출·클릭·트래픽의 허영 (예정)
• 🤖 5편: 타겟팅과 알고리즘의 함정 (예정)
• 🗣️ 6편: 설문·리서치 데이터의 왜곡 (예정)
• 💰 7편: 예산 배분과 장기/단기 전략 (예정)

---

📚 참고자료

• Bickel, P. J., Hammel, E. A., & O'Connell, J. W. (1975). Sex Bias in Graduate Admissions: Data from Berkeley. Science.
• 공정거래위원회 (2023). 에듀윌 표시광고법 위반 제재 처분.
• Few, S. (2012). Show Me the Numbers: Designing Tables and Graphs to Enlighten. Analytics Press.