돌아온 전투기에는 장갑을 두르지 마라: 데이터가 만든 치명적 착각, 생존자 편향(Survivorship Bias)

데이터 분석의 세계에서 가장 유명하고, 또 가장 소름 돋는 역사적 일화 하나를 꼽으라면 단연 아브라함 발드(Abraham Wald)와 전투기 총탄 자국 이야기일 것입니다.

우리는 종종 눈앞에 놓인 거대한 데이터 표(Excel)나 화려한 대시보드를 보며 "데이터는 거짓말을 하지 않는다"라고 믿습니다. 하지만 우리가 수집하지 못한, 혹은 애초에 수집될 수 없었던 데이터가 빠져있다면 어떻게 될까요?

오늘은 2차 세계대전 당시 미군의 치명적인 실수를 막아낸 천재 통계학자의 이야기를 통해, 비즈니스와 데이터 분석에서 가장 경계해야 할 '생존자 편향(Survivorship Bias)'에 대해 알아보겠습니다.

---

🛩️ 폭격기의 생존율을 높여라!

대공포를 맞고 간신히 귀환한 실제 B-17 폭격기 (2차 세계대전 당시 대공포(Flak)를 맞고 간신히 귀환한 미군의 B-17 폭격기. 출처: Wikimedia Commons)

2차 세계대전이 한창이던 1943년, 미군 수뇌부에는 비상이 걸렸습니다. 유럽 전선으로 출격한 B-17 폭격기들이 나치 독일군의 대공포를 맞고 속절없이 추락하여 엄청난 조종사들이 희생되고 있었기 때문입니다.

이를 해결하기 위해 미 해군은 컬럼비아 대학교 내에 극비리로 설립된 수학/통계학 드림팀인 통계연구그룹(SRG, Statistical Research Group)에 자문을 구합니다. 군의 요구사항은 명확했습니다.

"폭격기에 무거운 장갑(Armor)을 덧대어 방어력을 높이고 싶다. 하지만 전투기가 무거워지면 속도가 느려지고 연료를 많이 먹기 때문에 기체의 아주 '일부'에만 장갑을 씌워야 한다. 도대체 어디에 장갑을 덧대어야 하는가?"

미군은 이미 철저한 '데이터 수집'을 마친 상태였습니다. 무사히 기지로 귀환한 폭격기 수백 대를 샅샅이 조사하여 어느 부위에 총알을 가장 많이 맞았는지 통계를 냈습니다.

당시 미군이 수집했던 기체 부위별 피격 데이터(1제곱피트당 총탄 자국 수)의 실제 수치는 다음과 같았습니다.

생존자 편향의 함정: 돌아온 폭격기의 총탄 자국 (총탄이 많이 박힌 곳을 보강해야 할까, 아니면 총탄이 없는 곳을 보강해야 할까?)

• 기타 부위(날개 등): 1.80발
• 동체(Fuselage): 1.73발
• 연료 시스템: 1.55발
• 엔진(Engines): 1.11발 (가장 적은 총탄 자국)

이 수치를 본 군 장성들은 당연하다는 듯 결론을 내렸습니다. "동체와 날개 쪽에 1.7~1.8발의 집중 사격이 쏟아지고 있으니 이 부위에 무거운 장갑을 집중적으로 두르자!"

---

💡 천재 통계학자의 반전: "총탄 자국이 없는 곳에 장갑을 둘러라"

이때 군 장성들의 결정을 가로막아선 사람이 있었습니다. 헝가리 출신의 천재 수학자이자 SRG의 핵심 멤버였던 아브라함 발드(Abraham Wald)였습니다.

그는 군의 데이터와 결론을 보고 고개를 가로저으며 이렇게 말했습니다.

"장군님들, 정반대입니다. 동체와 날개가 아니라, 총탄 자국이 단 한 개도 없는 '엔진'에 장갑을 둘러야 합니다."

군 장성들은 황당해했습니다. "엔진에는 총알을 한 대도 맞지 않았는데 왜 엉뚱한 곳에 무거운 장갑을 덧대란 말이오?"

발드의 대답은 통계학의 역사를 바꾸는 명언이 되었습니다.

"이 데이터는 '살아 돌아온' 전투기들만 조사한 것입니다. 엔진에 총탄 자국이 1.11개밖에 없는 이유는, 1.7~1.8개가 꽂힐 때까지 버틴 동체/날개와 달리 엔진에 총을 맞은 전투기는 살아서 귀환하지 못하고 모두 추락했기 때문입니다. 반대로 동체와 날개에 총알이 벌집처럼 박혀있다는 것은, 거기는 아무리 총을 맞아도 기지로 무사히 돌아올 수 있을 만큼 치명적인 부위가 아니라는 뜻입니다."

실제로 발드는 고도의 수학적 역산을 통해, 적의 대공포는 비행기의 특정 부위를 노리고 쏘는 것이 아니라 기체 전체에 무작위(Random)로 고르게 명중하고 있다는 사실을 증명해 냈습니다. 즉, 통계적으로 엔진에도 동체와 똑같이 1.73발 이상의 총탄이 쏟아지고 있었지만, 엔진을 맞은 비행기들은 단 한 대도 통계 자료(귀환자 명단)에 합류하지 못한 채 적진에 추락해 있었던 것입니다.

미군은 망치로 머리를 맞은 듯한 충격을 받았습니다. 그들은 즉시 통계학자 발드의 조언에 따라 조종석과 엔진 주변에 집중적으로 장갑을 보강했고, 이 결정적인 통계적 통찰 덕분에 이후 수많은 미군 폭격기와 승무원들이 기적으로 생존하여 귀환할 수 있었습니다.

---

⚠️ 생존자 편향(Survivorship Bias): 우리는 실패의 무덤을 파헤치지 않는다

아브라함 발드의 이야기는 통계학에서 말하는 '생존자 편향(Survivorship Bias)'의 가장 완벽한 예시입니다.

생존자 편향이란 어떤 과정을 통과해 '살아남은' 사람이나 데이터만 보고 판단하여, 그 과정에서 탈락한(보이지 않는) 다수의 데이터를 간과함으로써 발생하는 심각한 논리적 오류를 뜻합니다.

이 오류는 80년이 지난 오늘날의 비즈니스와 마케팅, 그리고 우리의 일상 속에서도 소름 돋을 정도로 자주 발생합니다.

🏢 비즈니스 현장에서의 생존자 편향 사례

1. "빌 게이츠와 스티브 잡스, 마크 저커버그를 봐라. 대학을 자퇴해야 크게 성공한다!"
   • 오류: 대학을 자퇴하고 실리콘밸리에서 창업했다가 처참하게 실패해 신용불량자가 된 수만 명의 데이터는 우리 눈에 보이지 않습니다. 우리는 오직 '성공한(생존한) 3명'의 데이터만 보고 잘못된 상관관계를 맺습니다.
2. "우리 서비스의 탈퇴 이유를 분석하기 위해, 현재 활성 유저(Active User)들을 대상으로 설문조사를 하자!"
   • 오류: 현재 활성 유저는 서비스에 만족해서 '생존해 있는' 사람들입니다. 이들에게 탈퇴 이유를 묻는 것은 기지로 돌아온 전투기 날개의 총탄 자국을 세는 것과 같습니다. 진짜 문제를 알려면 이미 탈퇴하고 앱을 지워버린(추락한) 유저들의 목소리를 들어야 합니다.
3. "요즘 유행하는 유튜브 성공학 채널들의 공통점을 분석해 보니 매일 아침 6시에 일어나는 미라클 모닝이 비결이더라."
   • 오류: 매일 아침 6시에 일어나서 유튜브를 열심히 했지만 조회수가 10도 나오지 않아 접어버린 99%의 채널은 검색되지 않습니다.

---

📝 맺음말: "보이지 않는 데이터"를 상상하는 힘

빅데이터와 AI 시대가 도래하면서, 우리는 눈앞에 숫자가 주어지면 그것이 진리라고 무비판적으로 수용하는 경향이 생겼습니다. AI 모델을 훈련시킬 때도 이런 '생존자 데이터'만 편식해서 넣으면, AI는 현실과 동떨어진 바보 같은 결론을 내리게 됩니다.

진정한 데이터 사이언티스트, 혹은 현명한 마케터라면 엑셀 표를 보면서 항상 이 질문을 던져야 합니다.

"지금 이 데이터에서 빠져있는, 추락한 폭격기는 어디에 있는가?"

여러분의 비즈니스에서는 혹시 돌아온 전투기의 날개만 열심히 보수하고 계시지는 않나요?

---

[참고 문헌 (References)]

1. Mangel, Marc; Samaniego, Francisco J. (1984). "Abraham Wald's work on aircraft survivability". Journal of the American Statistical Association.
2. Mcgrayne, Sharon Bertsch (2011). "The Theory That Would Not Die". Yale University Press.