[데이터 리터러시 4편] 성급한 승리 선언: 거짓 양성 오류와 P-해킹 (P-Hacking)

본 포스팅은 마케터들이 실무에서 흔히 저지르는 데이터 해석의 오류와 인과관계의 착각을 다루는 [디지털 마케터의 데이터 리터러시] 5부작 기획 시리즈의 네 번째 글입니다.

---

지난 3편에서는 보이지 않는 데이터, 즉 '생존자 편향'이 서비스 성장을 어떻게 가로막는지 살펴보았습니다. 이번 4편에서는 데이터 대시보드를 너무 자주 들여다보는 성실한(?) 마케터들이 오히려 더 자주 빠지는 최악의 통계적 함정, '거짓 양성(False Positive)'과 'P-해킹(P-Hacking)'에 대해 이야기하겠습니다.

---

1. A/B 테스트 첫날의 짜릿함, 그리고 배신

커머스 사이트의 구매 버튼 색상을 초록색(A안)에서 빨간색(B안)으로 바꾸는 A/B 테스트를 시작했다고 가정해 봅시다. 당신은 설레는 마음에 테스트 시작 후 3시간 만에 대시보드를 열어봅니다.

• A안 전환율: 2.1%
• B안 전환율: 3.5% (초과 달성!)
• 통계적 유의성(p-value): 0.04 (96% 신뢰도 달성!)

당신은 환호성을 지르며 팀장님께 달려가 보고합니다. "B안이 무려 1.4%p나 높고, 통계적으로도 유의미합니다! 당장 전체 트래픽을 B안으로 100% 돌리시죠!"

팀장님의 허락을 받고 빨간색 버튼을 전체 유저에게 배포했습니다. 그런데 한 달 뒤, 빨간색 버튼의 실제 전환율은 원래의 2.1%로 뚝 떨어져 버렸습니다. 통계 툴이 거짓말을 한 것일까요?

아닙니다. 당신이 '가짜 승리(False Positive)'를 선언하고 결승선을 내멋대로 잘라버린 것입니다.

---

2. 거짓 양성(False Positive)과 Peeking Problem

P-해킹과 거짓 양성 테스트가 정상적으로 끝날 때(우측 유령선)까지 기다리지 않고, 우연히 그래프가 튀어 오른 순간에 가위로 결승선을 잘라버려(Early Stopping) 억지 승리를 만들어내는 모습. 이를 P-Hacking이라고 부릅니다. (AI Generated)

동전을 10번 던졌을 때 우연히 앞면이 8번 연속으로 나올 확률은 존재합니다. 하지만 10,000번을 던지면 결국 50:50으로 수렴하게 됩니다. A/B 테스트도 마찬가지입니다. 테스트 극초반에는 트래픽(표본 수)이 적기 때문에, 단 몇 명의 우연한 구매만으로도 전환율이 미친 듯이 요동(Fluctuation)칩니다.

문제는 대부분의 A/B 테스트 대시보드가 실시간으로 '통계적 유의성(p-value)'을 보여준다는 점입니다. 마케터가 대시보드를 실시간으로 계속 새로고침하며 들여다보는 행위를 '피킹(Peeking)'이라고 부릅니다. 피킹을 계속하다가, 우연히 수치가 위로 튀어서 p-value가 0.05 이하(95% 신뢰도)로 떨어지는 그 짧은 찰나의 순간에 테스트를 강제 종료하고 승리를 선언해버리는 것. 이것이 바로 마케팅 업계에 만연한 'P-해킹(P-Hacking)'입니다.

---

3. P-해킹: 데이터 고문(Data Torturing)

P-해킹은 단순히 테스트를 일찍 끝내는 것만을 의미하지 않습니다. "데이터가 자백할 때까지 고문한다(If you torture the data long enough, it will confess)"는 유명한 통계학 격언처럼, 마케터들은 무의식적으로 데이터를 조작합니다.

• 테스트 조기 종료 (Early Stopping): 위에서 설명한 것처럼, 결과가 좋아 보이는 순간에 테스트를 꺼버립니다.
• 다중 검정의 함정 (Multiple Testing): 버튼 색상, 버튼 문구, 이미지, 제목 등 20개의 변수를 동시에 테스트합니다. 통계학적으로 20개를 동시에 테스트하면, 그중 최소 1개는 단순한 우연만으로도 유의미한 결과(거짓 양성)를 낼 확률이 64%나 됩니다.
• 사후 세그먼트 쪼개기: A/B 테스트 전체 결과가 실패로 나오자, 데이터를 이리저리 쪼개봅니다. "전체는 실패했지만, 20대 여성 iOS 유저들한테는 먹혔네? 이 타겟한테는 유의미했으니 부분 성공!" 전형적인 통계의 오류입니다.

---

4. 진정한 승리를 위한 A/B 테스트 실무 원칙

이러한 통계의 장난에 놀아나지 않고 진짜 비즈니스 임팩트를 내는 A/B 테스트를 하려면 다음 세 가지를 반드시 지켜야 합니다.

① MDE와 최소 표본 크기(Sample Size) 미리 정하기

테스트를 시작하기 전에, 우리가 목표로 하는 최소 개선 폭(MDE, Minimum Detectable Effect)을 설정하고, 이를 검증하기 위해 필요한 최소 트래픽(유저 수)과 테스트 기간(예: 14일)을 사전에 확정해야 합니다. 옵티마이즐리(Optimizely)나 VWO에서 제공하는 샘플 사이즈 계산기를 활용하세요.

② 정해진 기간 전에는 대시보드 안 보기 (No Peeking)

최소 표본 크기를 채우기로 한 14일 동안은 대시보드의 결과가 어떻게 요동치든 절대 테스트를 중단해서는 안 됩니다. 치명적인 버그가 터진 게 아니라면, 결승선 테이프는 선수가 도착했을 때 끊어야지, 선수가 달리고 있는 도중에 옮겨다 놓으면 안 됩니다.

③ 재현성(Replicability) 검증하기

어떤 테스트가 성공적으로 끝나 전체 배포를 했다면, 한두 달 뒤에 A/A 테스트(동일한 조건에서의 테스트)를 통해 그 효과가 진짜 유지되고 있는지 다시 한번 검증해야 합니다. 우연에 의한 승리였다면 이 단계에서 평균으로 회귀(Regression to the Mean)하는 모습을 보이게 됩니다.

---

결론: 우연과 실력을 구분하라

마케터의 업무는 불확실성을 통제하여 확실한 성장을 만들어내는 것입니다. 하지만 통계에 대한 이해 없이 A/B 테스트 툴의 '초록색 불빛(Success)'만 쫓는다면, 우리는 성장을 만들어낸 것이 아니라 단지 운이 좋았던 우연의 순간을 캡처했을 뿐입니다.

데이터가 당신이 원하는 대답을 했다고 해서 바로 믿지 마세요. 우연이 만들어낸 신기루일 수도 있습니다.

다음 마지막 5편에서는, 검색 광고와 리타겟팅 배너 마케터들이 가장 벗어나기 힘든 환상인 '마지막 클릭의 신화(Last-Click Attribution)'에 대해 알아보겠습니다.

---

📚 참고자료

• Kohavi, R., Deng, A., Frasca, B., Longbotham, T., Walker, K., & Xu, Y. (2012). Trustworthy online controlled experiments: Five puzzling outcomes explained. KDD.
• Berman, R., & Pekelis, L. (2020). A/B testing, Peeking, and P-Hacking. (Preprint).
• Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biology, 13(3), e1002106.