데이터가 거짓말을 하는 순간 (심화편): 역사상 최악의 통계적 착시 8선

흔히 "데이터는 거짓말을 하지 않는다"고 말합니다. 하지만 데이터를 '해석하는 사람'은 종종 치명적인 착각에 빠집니다. 생존자 편향이나 심슨의 역설과 같이 비교적 널리 알려진 통계의 함정 외에도, 역사상 전문가들조차 속아 넘어간 훨씬 교묘하고 위험한 데이터의 착시 현상들이 존재합니다.

전쟁의 판도를 바꾼 오판부터, 무고한 사람을 감옥에 보낸 재판, 의학계를 뒤흔든 생존율의 비밀까지, 데이터를 맹신하다 벌어진 역사상 최악의 통계적 오류 8가지를 심층 분석합니다.

---

1. 맥나마라 오류 (McNamara Fallacy): 측정할 수 없는 것은 무시하라?

• 배경: 베트남 전쟁 당시, 포드 자동차 사장 출신이었던 로버트 맥나마라(Robert McNamara) 미 국방장관은 복잡한 전쟁 상황을 철저히 '수학적 모델과 통계 지표'로만 평가하여 전략을 세우고자 했습니다.
• 데이터의 착시: 미국은 '적군 사상자 수(body count)'라는 정량적 지표를 핵심 성과로 삼았습니다. 데이터상으로는 사상자 수가 매일같이 갈수록 높게 나타났으며, 지표만 보면 미국이 전쟁에서 확실하게 승리하고 있는 것으로 보였습니다.
• 해석의 오류: 측정하기 쉬운 데이터(사상자 수, 투하한 폭탄의 양 등)에만 매몰된 나머지, 적군의 사기, 정치적 지지, 베트남인의 민족주의, 현지 주민의 감정 등 측정하기 어렵지만 전쟁에서 핵심적인 '정성적 요인'들을 완전히 무시했습니다. 게다가 성과 지표를 채우기 위해 전선의 군인들은 사상자 수를 부풀려 보고하는 부작용(굿하트의 법칙)까지 발생했습니다.
• 실제 진실: 정량적 목표에만 집중한 무차별적이고 폭력적인 전술은 민간인의 희생을 낳고 현지 주민들을 돌아서게 만들었으며, 결과적으로 미국의 뼈아픈 전략적 실패로 이어졌습니다. 비즈니스에서도 '측정하기 쉬운 지표'가 '가장 중요한 지표'는 아님을 명심해야 합니다.

2. 버크슨의 역설 (Berkson's Paradox): 병원 안의 이상한 상관관계

• 배경: 1946년, 통계학자 조셉 버크슨(Joseph Berkson)이 '병원 입원 환자'들을 대상으로 당뇨병과 담낭염(쓸개 질환) 간의 연관성을 조사한 역학 연구입니다.
• 데이터의 착시: 놀랍게도 당뇨병이 있는 환자는 담낭염에 덜 걸리는 것으로 나타났습니다. 두 질병 사이에 서로를 억제하는 '음(-)의 상관관계'가 있는 것처럼 보인 것입니다.
• 해석의 오류: 이 통계는 일반 대중이 아닌 '병원 입원 환자'라는 특수한 그룹(Collider)만을 대상으로 표본을 추출하는 선택 편향을 저질렀습니다. 두 질병 중 하나라도 가진 사람은 병원에 입원할 확률이 높아집니다. 만약 당뇨병이 없는 환자가 입원했다면? 그는 담낭염이나 다른 심각한 질병을 가지고 있을 확률이 필연적으로 높습니다. 결국 병원 안에서만 비교하면 두 질병이 반비례하는 것처럼 통계적 착시가 발생합니다.
• 실제 진실: 전체 일반 인구를 대상으로 분석하면 당뇨병과 담낭염은 서로 독립적이거나 오히려 양(+)의 상관관계를 가집니다. 마케팅에서도 '충성 고객' 그룹만을 대상으로 두 가지 행동(예: 리뷰 작성과 재구매)을 분석할 때 이와 똑같은 역설이 발생할 수 있습니다.

3. 기저율 오류 (Base Rate Fallacy): 7,300만 분의 1의 비극

• 배경: 1999년 영국, 샐리 클라크(Sally Clark)라는 여성이 두 아기를 영아돌연사증후군(SIDS)으로 연달아 잃은 뒤 살인 혐의로 기소된 실제 재판 사례입니다.
• 데이터의 착시: 검찰 측 소아과 전문가인 로이 미도우는 "한 가정에서 아이 두 명이 자연적으로 SIDS로 사망할 확률은 7,300만 분의 1"이라고 증언했습니다. 배심원들은 이 극단적인 확률을 듣고 통계적으로 불가능에 가깝다며 무조건 그녀가 아이들을 살해한 것이라고 판단해 유죄를 선고했습니다.
• 해석의 오류: 이 주장은 유전적·환경적 요인을 공유함에도 두 사건을 완전히 독립적인 사건으로 잘못 계산했습니다. 하지만 더 치명적인 오류는 '이중 영아 살해'라는 사건의 기저율(사전 확률)을 완전히 무시했다는 것입니다. 살인으로 두 아기가 죽을 확률은 SIDS의 발생 확률보다 훨씬 더 희박합니다.
• 실제 진실: 베이즈 정리(Bayes' rule)를 올바르게 적용해 두 시나리오를 비교하면, 두 아이가 살해당했을 확률보다 자연사(SIDS)했을 확률이 약 4.5배에서 9배 더 높았습니다. 샐리 클라크는 3년간 억울하게 옥살이를 해야 했습니다.

4. 윌 로저스 현상 / 병기 이동 (Will Rogers Phenomenon)

• 배경: 암 스크리닝 기술과 정밀 진단 검사가 발달하면서 의료계에서 보고된 생존율 통계 사례입니다.
• 데이터의 착시: 새로운 진단 기준이 도입된 후, 놀랍게도 '초기 암' 그룹과 '말기 암' 그룹 양쪽 모두에서 과거보다 환자들의 5년 평균 생존율이 눈에 띄게 증가했습니다. 새로운 치료법이나 스크리닝이 환자의 생명을 크게 연장한 것처럼 보였습니다.
• 해석의 오류: 정밀한 기술 덕분에 과거라면 초기(Stage 2)로 분류되었을 '미세한 전이를 가진 환자'들이 말기(Stage 3)로 새롭게 이동(Stage Migration)했습니다. 이들은 초기 그룹에서는 가장 생존율이 낮은 환자들이었고, 말기 그룹에서는 가장 생존율이 높은 환자들이었습니다. 즉, 경계선에 있던 환자들이 그룹을 이동한 것만으로 두 그룹 모두의 평균치가 수학적으로 상승하는 통계적 마법이 일어난 것입니다.
• 실제 진실: 어떠한 치료도 효과를 발휘하지 않았고 전체 환자의 수명은 단 하루도 늘어나지 않았지만, 단순한 '분류 기준의 변화'만으로 지표가 크게 개선된 것처럼 보였습니다.

5. 생태학적 오류 (Ecological Fallacy): 숲의 특징을 나무에 적용하기

• 배경: 1897년 프랑스 사회학자 에밀 뒤르켐(Émile Durkheim)의 유명한 '자살론' 연구입니다.
• 데이터의 착시: 유럽 13개 지방의 데이터를 분석한 결과, 프로테스탄트(개신교) 인구 비율이 높은 지역일수록 평균 자살률이 더 높았습니다. 이를 바탕으로 프로테스탄트 신자가 가톨릭 신자보다 자살을 더 많이 한다고 결론지었습니다.
• 해석의 오류: '집단 수준'의 평균 데이터를 통해 '개인'의 행동을 유추하는 결정적 오류를 범했습니다. 정작 해당 지역에서 자살한 사람들이 프로테스탄트인지 가톨릭인지는 데이터에 없었습니다. 개신교가 다수인 지역에서 소외감을 느낀 소수파 가톨릭 신자가 자살했을 수도 있고, 종교 외의 다른 경제적 교란 변수가 있었을 수도 있습니다.
• 실제 진실: 부유한 국가의 평균 투표율이 민주당에 높다고 해서, 그 국가의 부유한 개인이 민주당에 투표한다는 보장은 없습니다. 집단 통계의 상관관계를 개인의 인과관계로 착각해서는 안 됩니다.

6. 조기 발견 편향 / 리드타임 편향 (Lead-time Bias)

• 배경: 새로운 암 선별 검사(Screening)의 효과성을 확인하기 위해 환자의 생존율 데이터를 분석한 사례입니다.
• 데이터의 착시: 증상이 나타난 후 암을 발견한 환자 그룹에 비해, 새로운 스크리닝 검사를 통해 조기에 암을 진단받은 환자들의 5년 생존율이 획기적으로 높게 나타났습니다.
• 해석의 오류: 스크리닝은 질병의 진행 속도나 실제 사망 시점을 늦춘 것이 아니라, 단지 질병이 있다는 사실을 더 일찍 발견하게(Lead-time) 만들었을 뿐입니다. 생존율은 보통 '진단 시점'부터 측정되므로, 67세에 늦게 진단받아 70세에 사망한 사람과 60세에 조기 진단받아 똑같이 70세에 사망한 사람을 비교하면 후자의 생존율 지표가 극적으로 상승합니다.
• 실제 진실: 환자는 1초도 더 살지 못했으며 질병의 결과도 바뀌지 않았습니다. 늘어난 생존 기간은 수명 연장이 아니라 '자신이 암 환자라는 것을 일찍 알게 된 기간'이 길어진 것에 불과합니다.

7. 텍사스 명사수 오류 (Texas Sharpshooter Fallacy)

• 배경: 1993년 스웨덴 연구진이 고압 송전선과 인근 거주민들의 건강 악화 연관성을 찾기 위해 25년간의 데이터를 조사했습니다.
• 데이터의 착시: 송전선 300미터 이내 거주자들에게서 소아 백혈병 발병률이 무려 4배나 높게 나타났습니다.
• 해석의 오류: 연구진은 특정 가설(백혈병)을 미리 세운 것이 아니라, 무려 800개가 넘는 다양한 질병 데이터를 무작위로 분석한 뒤 우연히 높은 수치가 나온 결과에 사후 의미를 부여(다중 비교 문제)했습니다. 벽에 무작위로 총을 마구 쏜 뒤, 총알이 가장 많이 몰린 곳에 동그라미를 그리고 자신이 '명사수'라고 주장하는 것과 같습니다.
• 실제 진실: 이후 실시된 수많은 대규모 후속 연구에서는 송전선과 소아 백혈병 간의 어떠한 연관성도 발견되지 않았습니다. 빅데이터 시대에 수많은 변수를 돌려보다가 우연히 발견된 상관관계를 인과관계로 착각하는 대표적 오류입니다.

8. 평균으로의 회귀 (Regression to the Mean)

• 배경: 심리학자 대니얼 카너먼(Daniel Kahneman)이 이스라엘 공군 비행 교관들을 상대로 훈련 효과를 관찰했을 때의 일화입니다.
• 데이터의 착시: 훈련 성과가 뛰어난 조종사에게 '칭찬'을 하면 다음번 비행에서는 성과가 떨어졌고, 반대로 부진한 조종사에게 '꾸중'을 하면 다음번 비행에서는 성과가 개선되었습니다. 교관들은 이를 바탕으로 "칭찬은 효과가 없고 꾸중이 가장 훌륭한 교육법"이라고 확신했습니다.
• 해석의 오류: 조종사의 성과에는 실력뿐만 아니라 날씨나 컨디션 같은 '운(통제 불가능한 변수)'이 크게 작용합니다. 매우 좋거나 매우 나쁜 극단적인 결과는 일시적인 운이 크게 작용한 상태이므로, 피드백의 유무와 관계없이 다음번 시도에서는 자연스럽게 평균적인 성과로 되돌아옵니다.
• 실제 진실: 성과의 상승과 하락은 교관의 꾸중이나 칭찬 때문이 아니라 통계적 변동에 불과했습니다. 마케팅에서도 전환율이 비정상적으로 높았던 달 다음 달에 실적이 떨어지는 것은 프로모션 실패가 아니라 단순한 평균으로의 회귀일 가능성이 큽니다.

---

📚 참고자료

• Berkson, J. (1946). Limitations of the Application of Fourfold Table Analysis to Hospital Data. Biometrics Bulletin.
• Freedman, D. A. (1999). Ecological Inference and the Ecological Fallacy. International Encyclopedia of the Social & Behavioral Sciences.
• McGrayne, S. B. (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy.
• Feinstein, A. R. et al. (1985). The Will Rogers phenomenon. Stage migration and new diagnostic techniques as a source of misleading statistics for survival in cancer. New England Journal of Medicine.
• Kahneman, D. (2011). Thinking, Fast and Slow.
• Welch, H. G. et al. (2000). Are Increasing 5-Year Survival Rates Evidence of Success Against Cancer? JAMA.
• The Signal Blog (2025). Berkson's Paradox: Why Your Data Might Be Lying to You.
• Medium (2024). The McNamara Fallacy: Why We Manage the Risks We Can Count.