[데이터의 거짓말] 왜 이 데이터는 쓸모없을까? 인과관계를 망치는 3가지 엉터리 실험 설계

"이번에 새로 인플루언서 마케팅을 했더니 매출이 1억 원 나왔습니다! 캠페인 대성공입니다!" "충성 고객 VIP 프로그램에 가입한 유저들의 객단가가 비가입자보다 3배나 높습니다. VIP 프로그램을 확대해야 합니다!"

실무에서 데이터 분석 보고서를 볼 때 흔히 접하는 주장들입니다. 숫자가 명확하니 설득력 있어 보이지만, 통계학자나 실험 설계 전문가의 눈에는 이런 데이터는 ‘종이 쪼가리’에 불과합니다. 왜 그럴까요? 원인과 결과(인과관계, Causality)를 전혀 증명할 수 없는 엉터리 방식으로 데이터를 수집했기 때문입니다.

심리학과 교육학의 거장인 캠벨과 스탠리(Campbell & Stanley, 1963)는 이처럼 통제군이나 무작위 배정이 없어 인과관계를 밝혀낼 수 없는 조악한 실험 방식들을 ‘원시 실험 설계(Pre-experimental designs)’라고 부르며 강하게 비판했습니다.

우리가 실무에서 흔히 저지르는, 인과관계를 완벽하게 망치는 3가지 엉터리 실험 설계와 그 이유를 구체적인 비즈니스 사례와 함께 알아보겠습니다.

---

1. 단일 집단 사후 측정 (One-shot Case Study)

설계 구조: [X(처치) ➡️ O(관찰)]

가장 원시적이고 위험한 형태의 데이터 분석입니다. 어떤 조치(X)를 취한 후, 그 결과(O)만 덜렁 측정하는 방식입니다.

🚫 왜 쓸모없을까? (무의미성)

비교 대상이 아예 없습니다. 과거 데이터(사전 측정)도 없고, 광고를 보지 않은 집단(통제군)도 없습니다. 어떤 사건이 일어났을 때, 그것이 '나의 마케팅 때문'인지 아니면 '원래 일어날 일'이었는지(Counterfactual, 반사실) 알 도리가 없습니다.

📉 비즈니스 흑역사 사례

• 인플루언서 마케팅의 함정: 신제품을 출시하며 유명 유튜버에게 5천만 원을 주고 리뷰 영상을 맡겼습니다. 그 달에 1억 원어치의 제품이 팔렸습니다(O). 마케터는 "유튜버 광고(X) 덕분에 1억 원의 매출이 발생했다!"라고 환호합니다.
• 진실: 사전 데이터가 없기 때문에 원래 이 브랜드가 가만히 있어도 1억 원이 팔리는 브랜드인지, 아니면 광고 때문에 0원에서 1억 원으로 뛴 것인지 아무도 모릅니다.

---

2. 단일 집단 사전-사후 측정 (One-group Pretest-Posttest)

설계 구조: [O1(사전 측정) ➡️ X(처치) ➡️ O2(사후 측정)]

단일 집단 사후 측정의 문제를 깨달은 마케터가 진화했습니다. "아! 과거 데이터랑 비교해야겠구나!" 그래서 광고 전의 매출(O1)과 광고 후의 매출(O2)을 비교하기 시작합니다.

🚫 왜 쓸모없을까? (역사 및 성숙 효과)

겉보기엔 그럴듯하지만, 여기에는 내적 타당도(Internal Validity)를 위협하는 두 가지 거대한 함정이 숨어 있습니다.

1. 역사 요인(History): 사전과 사후 측정 사이에 벌어진 외부의 다른 사건들입니다.
2. 성숙 요인(Maturation): 시간이 지남에 따라 자연스럽게 발생하는 변화입니다. 여전히 '광고를 안 한 비교군(통제군)'이 없기 때문에, 변화의 원인이 100% 나의 광고(X) 때문인지 입증할 수 없습니다.

📉 비즈니스 흑역사 사례

• 다이어트 보조제와 여름: 4월에 평균 체중 70kg인 사람들을 모아 다이어트 보조제(X)를 먹였더니, 6월에 65kg이 되었습니다. "우리 보조제가 5kg을 감량시켰다!"라고 광고합니다.
• 진실(역사/성숙 요인): 4월에서 6월 사이에는 사람들이 다가오는 여름휴가를 위해 자연스럽게 운동과 식단을 시작하는 시기입니다. 보조제를 먹지 않은 사람(통제군)도 이 시기에는 살이 빠졌을 확률이 높습니다.
• ROAS의 착각: 크리스마스 시즌을 맞아 광고 예산(X)을 2배로 늘렸더니 12월 매출이 급증했습니다. 마케터는 광고 성과라고 우기지만, 사실 크리스마스 시즌엔 광고를 안 틀어도 사람들이 선물을 사기 위해 지갑을 여는 시기입니다(역사 요인).

---

3. 정태적 집단 비교 (Static-group Comparison)

설계 구조: 집단 A: [X(처치) ➡️ O1] 집단 B: [ (처치 안 함) ➡️ O2]

이제 통제군의 중요성을 깨달은 마케터는 두 그룹을 비교하기 시작합니다. 캠페인에 참여한 집단(A)과 참여하지 않은 집단(B)을 나누어 결과를 비교합니다.

🚫 왜 쓸모없을까? (선발 편향, Selection Bias)

가장 치명적인 '선발 편향(Selection Bias)'이 발생합니다. 두 집단을 나눌 때 '무작위 배정(Randomization)'을 하지 않았기 때문입니다. 애초에 A 집단과 B 집단은 출발선이 달랐을 확률이 거의 100%입니다.

📉 비즈니스 흑역사 사례

• VIP 프로그램의 착시: 유료 VIP 멤버십(X)을 도입했습니다. 연말에 분석해 보니 VIP 가입자(A)의 평균 결제액이 100만 원, 비가입자(B)의 결제액이 30만 원입니다. "VIP 프로그램 덕분에 객단가가 3배나 올랐다!"라고 이사회에 보고합니다.
• 진실(선발 편향): 이 결과는 VIP 프로그램이 유저를 돈 쓰게 '만든 것(인과관계)'이 아닙니다. 애초에 쇼핑몰을 사랑하고 돈을 많이 쓸 성향이 있는 헤비 유저들만 골라서 VIP 멤버십에 가입한 것입니다. 즉, 인과관계가 아니라 단순한 상관관계(Correlation)에 불과합니다.
• 선택적 학업 성취도: 방과 후 특별 과외반을 신청한 학생들의 성적이 더 높게 나왔습니다. 과외의 효과일까요? 아니면 애초에 학구열이 높은 학생들만 그 과외를 '선택'했기 때문일까요?

---

🎯 결론: '비교군'과 '무작위'가 없는 데이터는 의심하라

데이터가 넘쳐나는 시대지만, 진정한 인과관계(Causality)를 밝혀내는 것은 전혀 다른 차원의 문제입니다.

캠벨과 스탠리가 지적했듯, 위 3가지 원시 실험 설계는 실무에서 매일같이 쓰이지만 내적 타당도(진짜 그것 때문인가?)를 방어할 수 없습니다. "이거 했더니 매출 올랐습니다"라는 보고서를 마주했을 때, 똑똑한 마케터와 리더라면 반드시 두 가지를 물어야 합니다.

1. "그 캠페인을 안 한 통제군(Control Group)이 있습니까?"
2. "그 통제군과 실험군은 애초에 동질하게 무작위 배정(Randomized) 되었습니까?"

이 두 가지를 만족시키는 A/B 테스트(무작위 대조군 연구, RCT)만이 비즈니스의 '진짜 증분(Incrementality)'을 증명할 수 있습니다. 겉보기에 화려한 숫자와 그래프에 속지 마세요. 그 데이터가 어떻게 설계되고 수집되었는지 질문하는 순간, 데이터의 진짜 얼굴이 드러납니다.

---

📚 참고자료

1. Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
2. "Theoretical and Empirical Failures of Causal Inference in Pre-Experimental Research Architectures" (NotebookLM Deep Research Report, 2026)
3. Cook, T. D., & Campbell, D. T. (1979). Quasi-Experimentation: Design & Analysis Issues for Field Settings.
4. C23 Pre-Experimental Designs & Causality Research Archive (NotebookLM)