데이터가 거짓말을 하는 순간: UC 버클리 성차별 소송과 심슨의 역설(Simpson's Paradox)

데이터 분석가들이 입을 모아 말하는 가장 무서운 함정 중 하나는 "전체 평균의 함정"입니다. 데이터가 거짓말을 하지는 않지만, 데이터를 묶어서 보여주는 방식은 우리를 완벽하게 속일 수 있습니다.

이를 가장 극적으로 보여주는 통계학의 유명한 딜레마가 바로 '심슨의 역설(Simpson's Paradox)'입니다. 각 부분에 대한 평균이 크다고 해서 전체 평균까지 커지는 것은 아니라는 역설이죠. 이 개념을 역사상 가장 널리 알리게 된 1973년의 유명한 사건, UC 버클리 대학교 대학원 성차별 소송 사건의 전말을 들여다보겠습니다.

---

🏛️ 1. 버클리 대학교, 성차별로 고소당하다

UC 버클리 캠퍼스 전경 (명문 UC 버클리 대학교 캠퍼스 전경. 출처: Wikimedia Commons)

1973년 가을, 미국 캘리포니아 대학교 버클리 캠퍼스(UC Berkeley)의 대학원 입학 통계가 발표되자마자 미국 전역이 발칵 뒤집혔습니다. 남성 지원자의 합격률이 여성 지원자보다 무려 9% 포인트나 높게 나타났기 때문입니다.

당시의 입학 데이터는 아래와 같았습니다.

성별	지원자 수	합격자 수	합격률
남성	8,442명	3,738명	44%
여성	4,321명	1,494명	35%

표면적인 숫자만 보면 이는 명백한 성차별이었습니다. 누가 보아도 남성이 훨씬 입학하기 쉬워 보였고, 수치상으로 발생할 수 있는 오차 범위를 아득히 뛰어넘는 결과였습니다. 결국 대학 측은 여성을 의도적으로 차별했다는 이유로 소송을 당할 위기에 처하게 됩니다.

---

🔍 2. 통계학자들의 등장과 반전: "데이터를 쪼개 보라!"

학교 측은 억울함을 풀고 원인을 찾기 위해 통계학과 교수인 피터 비켈(Peter Bickel)을 포함한 전문가 팀에게 심층 분석을 의뢰합니다.

통계학자들은 뭉뚱그려진 '전체 데이터'를 해체하기 시작했습니다. 대학교 대학원은 각 '학과별'로 독립적인 입학 심사를 진행하기 때문에, 전체 합격률이 아니라 학과별 합격률을 비교하는 것이 더 타당하다고 판단한 것입니다.

지원자가 가장 많았던 6개의 주요 학과(A~F)로 데이터를 세분화하여 분석하자, 모두의 예상을 깬 충격적인 결과가 나타났습니다.

[주요 6개 학과의 성별 합격률]

학과	남성 지원자	남성 합격률	여성 지원자	여성 합격률
A	825명	62%	108명	82%
B	560명	63%	25명	68%
C	325명	37%	593명	34%
D	417명	33%	375명	35%
E	191명	28%	393명	24%
F	373명	6%	341명	7%

놀랍게도 학과별로 살펴보니, 6개 학과 중 4개 학과(A, B, D, F)에서 오히려 여성의 합격률이 남성보다 더 높았습니다. 심지어 A 학과의 경우 여성 합격률(82%)이 남성(62%)을 압도적으로 상회했습니다.

여성을 차별하기는커녕, 통계적으로는 여성을 약간 더 우대하는 경향이 있다는 결론이 나온 것입니다!

---

⚖️ 3. 심슨의 역설: 원인은 '합격률'이 아닌 '지원 학과의 성향'이었다

전체 평균은 남성이 우수했는데, 쪼개어 보니 여성이 우수해지는 이 마법 같은 상황은 왜 발생한 것일까요?

심슨의 역설 인포그래픽 (전체 집단과 하위 집단의 트렌드가 역전되는 '심슨의 역설'. 겉보기 평균의 함정을 경고한다.)

해답은 남녀 지원자들의 '지원 학과 편중 현상'에 있었습니다.

• 남성 지원자들은 주로 공대나 자연과학계열(A, B 학과)처럼 모집 인원이 많고 경쟁률이 낮아 '합격하기 쉬운' 학과에 대거 지원했습니다.
• 반면 여성 지원자들은 영문학, 역사학(C, E 학과) 등 모집 인원이 적고 경쟁률이 치열하여 '합격하기 몹시 어려운' 학과에 몰렸습니다.

즉, 여성들이 합격률 자체가 현저히 낮은 빡빡한 학과들에 주로 지원했기 때문에, 개별 학과에서는 남성보다 우수한 성적을 거두었음에도 불구하고 '전체 합격자 수'를 합산할 때는 깎여 보이는 착시가 발생한 것입니다. 이를 통계학에서는 제3의 변수(이 경우 '지원 학과의 합격률')를 통제하지 않아 발생하는 심슨의 역설(Simpson's Paradox)이라고 부릅니다.

---

🧠 4. 비즈니스와 데이터 분석에서의 시사점

버클리 대학의 성차별 소송 사건은 통계와 데이터 사이언스 역사에서 매우 귀중한 교훈을 남겼습니다.

1. "전체 평균은 부분의 평균을 대변하지 않는다." 우리는 흔히 전체 대시보드의 '방문자 수 증감'이나 '전체 구매 전환율'과 같은 뭉뚱그려진(Aggregated) 숫자 하나만을 보고 의사결정을 내리기 쉽습니다. 하지만 그 이면에는 특정 상품군, 특정 연령대, 혹은 특정 마케팅 채널의 극단적인 수치가 전체 평균을 왜곡하고 있을 수 있습니다.

2. "항상 데이터를 쪼개어 보라 (Disaggregation & Drill-down)" 데이터가 이상한 신호를 보낼 때, 그대로 받아들이지 말고 성별, 연령별, 지역별, 코호트(Cohort)별로 데이터를 세분화하여 보아야 합니다. 쪼개진 데이터는 전체 평균이 숨기고 있던 진짜 원인(숨겨진 변수, Confounding variable)을 폭로합니다.

3. "인과관계와 상관관계를 혼동하지 마라" '성별'이 '불합격'의 원인(인과관계)인 것처럼 보였지만, 진짜 원인은 '경쟁률이 높은 학과로의 지원'이었습니다. 데이터 분석의 진짜 실력은 겉으로 드러난 얕은 상관관계를 넘어 숨겨진 인과관계의 맥락을 짚어내는 데 있습니다.

단순한 평균치 하나에 속아 엉뚱한 부서에 소송을 걸지 않기 위해, 오늘 당신이 보고 있는 데이터 대시보드를 다시 한번 세분화(Drill-down)해 보는 것은 어떨까요?

---

[참고 문헌]

• Bickel, P. J., Hammel, E. A., & O'Connell, J. W. (1975). "Sex Bias in Graduate Admissions: Data from Berkeley". Science, 187(4175), 398-404.
• Judea Pearl. (2014). "Comment: Understanding Simpson’s Paradox". The American Statistician.