인간의 직관을 배신하는 확률 게임: 몬티 홀 딜레마(Monty Hall Problem)

데이터 사이언스와 통계학을 공부하다 보면, 인간의 '직관'이 얼마나 숫자에 취약한지 깨닫게 되는 순간이 많습니다. 그중에서도 전 세계 수많은 수학자와 통계학자들을 부끄럽게 만들었던 역사상 가장 논쟁적인 확률 문제가 있습니다.

바로 조건부 확률(Conditional Probability)의 끝판왕이라 불리는 '몬티 홀 딜레마(Monty Hall Problem)'입니다.

---

🚪 1. 염소인가, 최고급 스포츠카인가?

몬티 홀 진행자 (1960~70년대 미국 최고의 인기 TV 쇼 'Let's Make a Deal'의 명진행자 몬티 홀. 출처: Wikimedia Commons)

이 문제는 미국의 유명 TV 게임 쇼 였던 *'Let's Make a Deal'*의 진행자 몬티 홀(Monty Hall)의 이름을 따서 만들어졌습니다. 게임의 규칙은 아주 간단합니다.

당신 앞에는 굳게 닫힌 3개의 문(1번, 2번, 3번)이 있습니다.

• 하나의 문 뒤에는 최고급 스포츠카가 있습니다.
• 나머지 두 개의 문 뒤에는 꽝을 의미하는 염소가 있습니다.

당신이 1번 문을 선택했다고 가정해 봅시다. 당신이 문을 열기 전, 문 뒤에 무엇이 있는지 모두 알고 있는 진행자 몬티 홀이 염소가 있는 3번 문을 활짝 열어 보여줍니다.

그리고 당신에게 이렇게 묻습니다.

"지금 2번 문으로 선택을 바꾸시겠습니까? 아니면 원래대로 1번 문을 여시겠습니까?"

자, 당신이라면 어떻게 하시겠습니까? 선택을 바꾸는 것이 유리할까요, 아니면 그대로 밀고 나가는 것이 유리할까요?

---

🧠 2. 50대 50이라는 직관의 함정, 그리고 천재들의 착각

이 질문을 받으면 일반적인 사람들의 99%는 이렇게 생각합니다. *"어차피 3번 문은 꽝(염소)으로 밝혀졌어. 이제 남은 문은 1번과 2번, 두 개뿐이잖아? 그럼 스포츠카가 있을 확률은 어느 문이든 **50 대 50 (반반)*이지. 굳이 선택을 바꿀 필요가 있나?"

1990년, 이 문제가 한 잡지의 칼럼에 실렸을 때 기네스북에 '세계에서 가장 지능지수(IQ 228)가 높은 사람'으로 등재된 메릴린 보스 사반트(Marilyn vos Savant)는 이렇게 답했습니다. "무조건 선택을 바꾸는 것이 유리합니다. 선택을 바꾸면 스포츠카를 탈 확률이 2배(66.6%)로 높아지기 때문입니다."

이 답변이 나가자 미국 전역이 발칵 뒤집혔습니다. 무려 1만 통이 넘는 항의 편지가 쏟아졌고, 그중에는 박사 학위를 가진 수학자와 통계학자 1,000여 명의 조롱 섞인 편지도 있었습니다. "당신이 IQ가 아무리 높아도 수학의 기본은 모르는군요. 남은 문은 2개이니 무조건 50%입니다. 고집 피우지 말고 당신의 논리적 오류를 인정하세요!"

하지만 수학자들의 조롱은 오래가지 못했습니다. 컴퓨터 시뮬레이션과 수학적 증명을 통해 메릴린의 말이 100% 옳았다는 것이 밝혀졌기 때문입니다. 문을 바꾸면 확률은 정말로 2배(1/3에서 2/3으로) 높아집니다.

도대체 왜 그럴까요?

---

📊 3. 몬티 홀 딜레마의 확률적 증명

직관을 완전히 배제하고, 가능한 모든 경우의 수를 따져보겠습니다. 당신이 처음 문을 고를 때 스포츠카를 고를 확률은 당연히 1/3, 염소를 고를 확률은 2/3입니다.

몬티 홀 문제 시각화 인포그래픽 (선택을 유지할 때와 바꿀 때의 확률을 시각화한 조건부 확률 트리)

진행자 몬티 홀의 행동에는 아주 중요한 조건(Condition)이 하나 있습니다. 그는 "반드시 염소가 있는 문을 열어준다"는 것입니다.

당신이 '무조건 선택을 바꾸는 전략'을 쓴다고 가정하고 3가지 경우를 살펴보겠습니다.

1. 처음에 '염소 A'를 골랐을 경우 (확률 1/3)
   • 당신이 염소 A를 골랐으므로, 진행자는 남은 염소 B가 있는 문을 엽니다.
   • 당신이 남은 문으로 선택을 바꾸면 무조건 '스포츠카'에 당첨됩니다.
2. 처음에 '염소 B'를 골랐을 경우 (확률 1/3)
   • 당신이 염소 B를 골랐으므로, 진행자는 남은 염소 A가 있는 문을 엽니다.
   • 당신이 남은 문으로 선택을 바꾸면 무조건 '스포츠카'에 당첨됩니다.
3. 처음에 '스포츠카'를 골랐을 경우 (확률 1/3)
   • 당신이 스포츠카를 골랐으므로, 진행자는 염소 A나 B 중 아무 문이나 하나를 엽니다.
   • 당신이 남은 문으로 선택을 바꾸면 '염소'를 받게 됩니다. (유일하게 실패하는 경우)

결론적으로, 처음에 당신이 '염소를 골랐을 때' 선택을 바꾸면 무조건 스포츠카를 타게 됩니다. 애초에 당신이 3개의 문 중 염소를 고를 확률은 2/3이므로, 선택을 바꾸는 전략을 쓰면 스포츠카를 탈 확률 역시 정확히 2/3(66.6%)가 되는 것입니다.

반대로, 선택을 바꾸지 않고 그대로 고집할 경우 스포츠카를 탈 확률은 처음에 스포츠카를 정확히 짚었을 확률인 1/3(33.3%) 그대로 머물게 됩니다.

---

💡 4. 비즈니스 데이터 분석이 주는 교훈

몬티 홀 딜레마는 베이즈 정리(Bayes' Theorem)와 조건부 확률이 인간의 뇌 구조와 얼마나 상극인지를 보여주는 완벽한 예시입니다. 인간의 뇌는 새로운 정보(진행자가 문을 열었다는 사실)가 주어졌을 때, 전체 확률 공간이 어떻게 재편되는지를 직관적으로 계산하지 못합니다.

비즈니스와 데이터 분석 현장에서도 이런 일은 비일비재합니다. 우리는 새로운 고객 데이터, 시장의 변수, 경쟁사의 움직임이라는 '새로운 정보'가 주어졌을 때, 기존의 50대 50이라는 편견(직관)에 사로잡혀 확률의 변화를 인지하지 못합니다.

박사 학위를 가진 최고의 수학자들조차 함정에 빠지게 만든 이 몬티 홀 딜레마의 교훈은 아주 명확합니다.

"데이터가 새로운 정보를 제시할 때, 당신의 알량한 '직관'을 버리고 '확률과 통계의 수학적 프레임워크'를 믿어라. 그리고 주저 없이 당신의 선택을 바꾸어라."

---

[참고 문헌]

• Rosenhouse, Jason. (2009). "The Monty Hall Problem: The Remarkable Story of Math's Most Contentious Brain Teaser". Oxford University Press.
• Tierney, John. (1991). "Behind Monty Hall's Doors: Puzzle, Debate and Answer?". The New York Times.