[마케팅 데이터 함정 퀴즈 1편] 상관관계의 덫: 광고를 늘리면 매출이 정말 오를까?

이 시리즈는 마케팅 데이터를 해석할 때 전문가조차 빠지기 쉬운 함정들을 퀴즈 형태로 정리한 기획물입니다. 각 질문을 읽고, 스스로 답을 생각해 본 뒤 해설을 확인해 보세요.

---

Q1. 아이스크림 매출이 올라가면 익사 사고가 증가합니다. 아이스크림이 익사를 유발할까요?

❌ 아닙니다.

이것은 통계학에서 가장 유명한 "상관관계 ≠ 인과관계(Correlation ≠ Causation)" 사례입니다.

아이스크림 매출과 익사 사고 건수는 분명히 함께 올라갑니다. 그래프를 그리면 놀라울 정도로 깨끗한 양의 상관관계가 나타납니다. 하지만 아이스크림을 먹었다고 물에 빠지는 것은 당연히 아닙니다.

진짜 원인은 '여름(기온)'이라는 숨겨진 제3의 변수(Confounding Variable)입니다. 기온이 올라가면 아이스크림도 많이 팔리고, 동시에 수영장과 바다에 가는 사람도 많아져서 익사 사고도 늘어나는 것입니다.

마케팅에서도 정확히 같은 실수가 일어납니다. "광고비를 올렸더니 매출이 올랐다"는 데이터를 보고 "광고가 매출을 올렸다"고 결론짓는 것은, 아이스크림이 익사를 유발한다고 말하는 것과 동일한 논리적 오류입니다. 어쩌면 매출이 오른 진짜 이유는 계절적 수요(추석, 크리스마스)이거나, 경쟁사의 품절이거나, 환율 변동일 수 있습니다.

---

Q2. 광고비를 2배로 늘렸더니 매출이 30% 올랐습니다. 광고가 매출을 올린 걸까요?

⚠️ 알 수 없습니다. 이 데이터만으로는 절대 증명할 수 없습니다.

이것이 바로 "단일 집단 사전-사후 측정(One-group Pretest-Posttest)"의 함정입니다. 광고비를 올리기 '전'과 '후'를 비교했을 뿐, 광고비를 올리지 않았을 때의 세계(통제군)가 존재하지 않기 때문입니다.

같은 기간 동안 시장 전체가 성장했을 수도 있고, 계절적 성수기가 시작되었을 수도 있습니다. 실제로 P&G는 2017년에 디지털 광고비를 $2억(약 2,700억 원) 삭감했는데, 매출에는 아무런 변화가 없었습니다. 반대로 말하면, 그동안 $2억을 쏟아부은 것이 매출 성장의 원인이 아니었다는 뜻입니다.

진정한 인과관계를 증명하려면 지역별 A/B 테스트(Geo-Experiment)처럼 통제군이 있는 실험이 반드시 필요합니다.

🔗 더 알아보기: 광고를 하면 매출이 정말 늘어나는가?

---

Q3. VIP 멤버십 가입자의 평균 결제액이 비가입자의 3배입니다. VIP 프로그램이 고객을 더 쓰게 만든 걸까요?

❌ 아닙니다. 높은 확률로 '선발 편향(Selection Bias)'입니다.

이 결과를 보고 "VIP 프로그램 덕분에 객단가가 3배나 올랐다!"고 이사회에 보고하면, 경영진은 "VIP 프로그램에 투자를 더 하자!"고 결정할 것입니다. 하지만 진실은 정반대입니다.

VIP 멤버십에 돈을 내고 가입하는 사람은 애초에 쇼핑몰을 사랑하고 돈을 많이 쓸 성향이 있는 헤비 유저들입니다. VIP 프로그램이 그들을 돈 쓰게 '만든 것(인과관계)'이 아니라, 돈을 많이 쓸 사람들이 스스로 골라서 VIP에 가입한 것(상관관계)입니다.

이것이 바로 "정태적 집단 비교(Static-group Comparison)"의 치명적 오류입니다. 두 집단을 비교할 때 무작위 배정(Randomization)을 하지 않으면, 출발선 자체가 다르기 때문에 어떤 비교도 의미가 없습니다.

🔗 더 알아보기: 인과관계를 망치는 3가지 엉터리 실험 설계

---

Q4. 다이어트 보조제를 4월에 먹기 시작한 그룹이 6월에 5kg 감량했습니다. 보조제 효과일까요?

⚠️ 이 데이터만으로는 알 수 없습니다.

4월에서 6월이면 봄에서 여름으로 넘어가는 시기입니다. 날씨가 따뜻해지면 사람들은 자연스럽게 야외 활동이 늘고, 여름 휴가를 대비해 식단을 조절합니다. 즉, 보조제를 먹지 않았어도 계절적 요인(성숙 효과, Maturation Effect)만으로 체중이 줄었을 가능성이 매우 높습니다.

마케팅에서도 동일합니다. "새로운 마케팅 전략을 9월에 도입했더니 11~12월 매출이 폭증했다!" — 이것은 전략의 효과일까요, 아니면 연말 쇼핑 시즌(블랙프라이데이, 크리스마스)의 효과일까요? 시간의 흐름 자체가 만들어내는 변화를 개입(Intervention)의 효과로 착각하는 것, 이것이 역사 효과(History Effect)와 성숙 효과(Maturation Effect)입니다.

---

Q5. 새 랜딩페이지 출시 후 전환율이 15% 올랐습니다. 랜딩페이지 덕분일까요?

⚠️ 통제군 없이는 알 수 없습니다.

"출시 전 3%였는데, 출시 후 3.45%가 되었으니 15% 개선!" — 실무에서 가장 흔하게 벌어지는 보고 방식입니다. 하지만 이것은 통제군이 없는 단일 집단 사전-사후 비교에 불과합니다.

같은 기간에 다른 변수도 함께 바뀌었을 수 있습니다. 예를 들어:

• 동시에 이메일 캠페인을 시작했을 수 있고
• 경쟁사가 가격을 올렸을 수 있으며
• 계절적 수요 변화가 있었을 수 있습니다

정확한 측정을 하려면, 랜딩페이지를 바꾼 그룹(실험군)과 바꾸지 않은 그룹(통제군)에 트래픽을 50:50으로 무작위 분배하는 A/B 테스트가 필요합니다.

🔗 더 알아보기: 인과관계를 망치는 3가지 엉터리 실험 설계

---

Q6. 리타게팅 광고를 본 유저의 구매율이 안 본 유저의 5배입니다. 리타게팅이 효과적인 걸까요?

❌ 이 숫자는 리타게팅의 효과를 증명하지 않습니다.

리타게팅(Retargeting)은 이미 웹사이트를 방문하거나 장바구니에 담은 유저에게 다시 광고를 보여주는 기법입니다. 문제는 이 유저들이 애초에 구매 의향이 매우 높은 사람들이라는 점입니다.

리타게팅 광고를 보지 않았어도, 이들 중 상당수는 어차피 돌아와서 구매했을 것입니다. 리타게팅 광고가 구매를 '만든 것'이 아니라, 구매할 사람을 '가로챈 것'에 불과합니다. 이것을 학술적으로 '크레딧 가로채기(Credit Capture)'라고 부릅니다.

RTB House의 사례에서 보듯, 이 진짜 효과를 측정하려면 고스트 애드(Ghost Ads) 같은 정교한 실험 설계가 필요합니다. 광고를 보여줄 타이밍에 '빈 광고(PSA)'를 보여주는 통제군을 만들어, 진짜 증분(Incremental) 구매만 골라내는 것입니다.

🔗 더 알아보기: RTB House는 어떻게 딥러닝으로 증분을 증명하는가?

---

Q7. 쿠폰을 받은 고객의 재구매율이 2배 높습니다. 쿠폰이 재구매를 만든 걸까요?

⚠️ 높은 확률로 '자기 선택 편향(Self-selection Bias)'입니다.

쿠폰을 적극적으로 찾아서 다운받고 사용하는 고객은 누구일까요? 이미 해당 브랜드를 자주 이용하고, 가격에 민감하며, 할인이 있으면 더 자주 구매하는 충성 고객일 가능성이 높습니다.

반대로 쿠폰을 사용하지 않은 고객은 브랜드에 대한 관여도가 낮거나, 이탈 가능성이 높은 고객일 수 있습니다. 즉, "쿠폰 사용 → 재구매 증가"가 아니라, "재구매할 성향이 높은 사람 → 쿠폰도 사용"이라는 역방향 인과관계(Reverse Causation)가 작용하는 것입니다.

이것은 광고 플랫폼이 ROAS를 뻥튀기하는 메커니즘과 정확히 동일합니다. 어차피 구매할 사람에게 광고를 보여주고, 그 구매를 광고의 공로로 돌리는 것입니다.

🔗 더 알아보기: ROAS는 가짜다: Attribution과 Incrementality의 결정적 차이

---

Q8. 유기농 식품 구매자가 평균 수명이 더 깁니다. 유기농이 장수의 원인일까요?

❌ 전형적인 '건강 유저 편향(Healthy User Bias)'입니다.

유기농 식품을 꾸준히 구매하는 사람들은 단순히 유기농을 먹는 것 이상의 특성을 공유합니다:

• 경제적으로 여유롭습니다 (유기농은 비쌉니다)
• 건강에 관심이 많아 운동도 규칙적으로 합니다
• 흡연율이 낮고 음주량도 적습니다
• 정기 건강검진을 받을 확률이 높습니다

즉, 유기농 식품이 장수를 '만든 것'이 아니라, 건강한 생활습관 전체가 장수의 원인이고, 유기농 구매는 그 생활습관의 지표(Indicator) 중 하나일 뿐입니다.

마케팅에서도 "우리 앱의 프리미엄 플랜 유저가 일반 유저보다 이탈률이 50% 낮다!"고 보고하면, 프리미엄 플랜이 이탈을 막는 것처럼 보입니다. 하지만 실제로는 이탈하지 않을 만큼 충성도가 높은 유저가 프리미엄에 가입한 것일 수 있습니다.

---

이 시리즈의 다른 글

• 📊 2편: ROAS와 성과 측정의 착시 (예정)
• 📉 3편: 평균의 함정과 통계적 속임수 (예정)
• 👻 4편: 노출·클릭·트래픽의 허영 (예정)
• 🤖 5편: 타겟팅과 알고리즘의 함정 (예정)
• 🗣️ 6편: 설문·리서치 데이터의 왜곡 (예정)
• 💰 7편: 예산 배분과 장기/단기 전략 (예정)

---

📚 참고자료

• Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer Heterogeneity and Paid Search Effectiveness. Econometrica.
• Procter & Gamble (2017). Digital Ad Spend Cut — Annual Report & CFO Earnings Call.
• Johnson, G. A., Lewis, R. A., & Nubbemeyer, E. I. (2017). Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness. Journal of Marketing Research.
• Campbell, D. T. & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research.