A/B 테스트와 통계적 유의성의 함정: p-value의 진실과 가짜 승리(False Positive) 피하기
현대 디지털 비즈니스에서 직관에 의존한 의사결정은 도박과 같습니다. 넷플릭스, 구글, 아마존과 같은 기업들이 성장을 멈추지 않는 이유는 천재적인 기획자 덕분이 아니라, 수천 개의 가설을 동시에 검증하는 강력한 **A/B 테스트(A/B Testing)** 인프라 덕분입니...
현대 디지털 비즈니스에서 직관에 의존한 의사결정은 도박과 같습니다. 넷플릭스, 구글, 아마존과 같은 기업들이 성장을 멈추지 않는 이유는 천재적인 기획자 덕분이 아니라, 수천 개의 가설을 동시에 검증하는 강력한 **A/B 테스트(A/B Testing)** 인프라 덕분입니...
지금까지 11편의 포스트를 통해 디지털 마케팅에 숨겨진 거대한 예산 낭비 구멍(Cannibalization, MFA, 봇 트래픽, PMax 블랙박스 등)을 파헤쳤습니다. 이론을 알았다면 이제 남은 것은 단 하나, **실행(Execution)**입니다. 하지만 데이터 엔...
구글 PMax(Performance Max)나 메타 Advantage+와 같은 극단적 자동화 캠페인의 시대입니다. 타겟팅, 입찰, 게재 위치 심지어 광고 소재 조립까지 AI가 다 알아서 해주는 세상에서 **"마케터의 새로운 역할은 무엇인가?"**라는 질문이 쏟아지고 있...
"데이터는 거짓말을 하지 않는다." 마케터들이 흔히 하는 착각입니다. 데이터 자체는 거짓말을 하지 않을지 몰라도, **그 데이터를 해석하는 사람은 매일 거짓말에 속아 넘어갑니다.** 오늘은 마케터의 데이터 리터러시(Data Literacy)를 시험하는 가장 무서운 통계...
"사람은 각자 타고난 학습 스타일이 있다." "교과서에 형광펜으로 밑줄을 그으며 반복해서 읽는 것이 최고다." "어떤 분야든 1만 시간을 투자하면 세계적인 전문가가 될 수 있다." 우리는 살면서 이런 조언들을 무수히 듣고 자랐습니다. 하지만 데이터와 인지과학의 세계...
142개국 8만 명이 참가한 국제 퀀트 챔피언십(IQC)에서 UNIST 김민겸 학생이 한국인 최초로 우승했다. 200개 넘는 알고리즘 대신 32개만 쓴 그의 전략, 그리고 AI 시대 퀀트 투자의 본질을 분석한다.
우리가 수십 년간 믿어온 '하루 물 8잔' 규칙은 어디서 왔을까요? 1945년 단 하나의 보고서에서 시작된 거대한 오해가 과학, 미디어, 상업적 이해관계를 거쳐 어떻게 '건강 상식'으로 둔갑했는지, 그리고 누가 이 신화를 무너뜨렸는지 추적합니다.
세계 역사상 가장 성공한 마케팅 캠페인 중 하나는 의약품도, IT 제품도 아닌 '아침 시리얼'을 판매하기 위해 만들어졌습니다. 이 구호가 어떻게 의학적 사실처럼 굳어졌는지, 과학은 이에 대해 무엇을 말하는지, 그리고 진실이 밝혀진 후에도 왜 이 신화가 살아있는지를 추적합니다.
가난, 시간 부족, 만성 스트레스는 왜 우리의 지능과 판단력을 떨어뜨릴까요? 센딜 멀라이너선 교수의 '인지적 대역폭(Cognitive Bandwidth)' 이론을 확장하여, 우리의 뇌를 최적의 상태로 유지하기 위한 환경 설계 가이드를 제시합니다.
유명한 스탠퍼드 마시멜로 실험의 숨겨진 진실. 2018년 후속 연구를 통해 밝혀진 사회경제적 지위(SES)의 영향력과 '마시멜로 이야기'가 한국 사회에 남긴 성공 만능주의의 부작용을 심층 분석합니다.
구글은 병원 기록 없이 오직 사람들의 '검색어'만으로 미국 전역의 독감 유행을 예측하는 시스템을 발표하며 세상을 놀라게 했습니다. 하지만 몇 년 뒤, 이 완벽해 보이던 빅데이터 알고리즘은 실제 환자 수보다 2배 이상 부풀려진 쓰레기 데이터를 쏟아내며 처참히 붕괴합니다. 데이터의 '과적합(Overfitting)'과 알고리즘의 오만을 보여주는 대표적인 사례를 알아봅니다.
평균, 분산, 상관계수, 회귀선까지 통계적 수치가 소수점 두 자리까지 완벽하게 일치하는 4개의 데이터 세트가 있습니다. 숫자가 똑같으니 형태도 똑같을까요? 이 질문에 시각화로 던진 충격적인 해답, 앤스컴의 콰르텟을 소개합니다.
제2차 세계대전, 연합군은 무적의 독일군 '판터(Panther)' 전차가 한 달에 몇 대나 생산되는지 몰라 패닉에 빠졌습니다. 스파이들은 1,000대라고 보고했지만, 통계학자들은 노획한 전차 부품의 '일련번호 5개'만으로 정확한 생산량을 맞춰냅니다. 작은 표본(Sample)으로 전체(Population)를 꿰뚫어 보는 기적의 통계학 이야기를 소개합니다.
넷플릭스는 영화 추천 알고리즘의 성능을 10% 올리기 위해 100만 달러의 상금을 걸었습니다. 천재 개발자들이 모여 알고리즘을 고도화했지만, '나폴레옹 다이너마이트'라는 영화 한 편이 모든 AI의 예측을 박살 내버립니다. 데이터로도 예측할 수 없는 인간 취향의 역설을 알아봅니다.
홍차를 먼저 넣었는지, 우유를 먼저 넣었는지 맛으로 구별할 수 있을까요? 사람들은 비웃었지만, 한 천재 통계학자는 이를 진지하게 검증하기 위해 실험을 설계합니다. 과학적 '가설 검정'의 시초가 된 위대한 홍차 파티 이야기를 들려드립니다.
1999년 영국, 두 아기를 연속으로 잃은 비운의 엄마가 연쇄 살인범으로 몰려 종신형을 선고받았습니다. 유죄의 유일한 증거는 소아과 의사가 제시한 '7,300만 분의 1'이라는 확률이었습니다. 법의 심판을 눈멀게 한 치명적인 통계적 오류를 살펴봅니다.
병원에서 정확도 99%인 희귀병 테스트를 받았는데 '양성'이 나왔습니다. 절망해야 할까요? 놀랍게도 진짜 병에 걸렸을 확률은 9%밖에 되지 않습니다. 인간의 뇌를 마비시키는 '거짓 양성 패러독스'와 베이즈 정리를 알아봅니다.
두 개의 데이터 그래프가 완벽하게 일치한다고 해서 둘 사이에 인과관계가 있는 것은 아닙니다. 니콜라스 케이지의 영화 출연 편수와 수영장 익사자 수의 기막힌 일치를 통해 '허위 상관관계'의 함정을 파헤쳐 봅니다.
1913년 모나코의 몬테카를로 카지노. 룰렛 게임에서 무려 26번 연속으로 검은색이 나오는 기적이 벌어졌습니다. 사람들은 '이제는 무조건 빨간색이다!'라며 전 재산을 걸었지만 결과는 처참했습니다. 독립 확률을 이해하지 못하는 인간 뇌의 치명적 착각을 알아봅니다.
신성한 스포츠로 여겨지는 일본의 스모. 과연 그들은 정정당당하게 싸울까요? 스티븐 레빗 교수가 오직 '숫자(데이터)'만을 분석하여 스모계의 은밀한 승부 조작을 증명해 낸 기막힌 통계 스토리를 소개합니다.
집단 A에서 한 명이 집단 B로 넘어갔을 뿐인데, 두 집단의 평균 점수가 모두 올랐습니다. 숫자가 우리를 얼마나 쉽게 속일 수 있는지 보여주는 기막힌 통계적 착시 현상을 소개합니다.
1년은 365일입니다. 그렇다면 생일이 같은 두 사람이 있을 확률이 50%를 넘으려면 몇 명이 모여야 할까요? 인간의 뇌가 기하급수적 조합을 어떻게 오판하는지 보여주는 대표적인 통계 패러독스입니다.
당신이 마트에서 무향 로션을 샀을 뿐인데, 인공지능은 당신의 임신 사실을 알아차립니다. 전 세계를 충격에 빠뜨렸던 미국 대형 마트 '타겟(Target)'의 소름 돋는 데이터 마이닝 일화를 소개합니다.
1854년 런던, 시체들이 널브러진 거리를 배회하던 한 의사가 '엑셀 표' 대신 '지도'를 꺼내 들었습니다. 현대 역학(Epidemiology)과 공간 통계학을 탄생시킨 존 스노우의 콜레라 지도 이야기를 소개합니다.
백의의 천사로만 알려진 나이팅게일의 진짜 직업은 '데이터 사이언티스트'였습니다. 수백 쪽의 숫자보다 강력했던 그녀의 '장미 도표(Rose Diagram)'가 어떻게 수만 명의 목숨을 구했는지 알아봅니다.
데이터의 양이 많으면 무조건 진실에 가까워질까요? 무려 240만 명을 조사한 미국 역사상 최대의 여론조사가 어떻게 완벽하게 빗나갔는지 '표본 추출의 편향'을 알아봅니다.
천재 수학자들조차 집단으로 틀려버린 역사상 가장 유명한 확률 문제. 직관이 50%라고 외칠 때, 수학은 왜 66.6%라고 말하는지 '몬티 홀 딜레마'를 통해 알아봅니다.
1986년 챌린저호 폭발 참사의 진짜 원인은 부품 결함이 아니라 '데이터 분석의 치명적인 오류'에 있었습니다. 실패한 데이터만 보고 성공한 데이터를 무시했을 때 벌어지는 '선택 편향'의 비극을 알아봅니다.
전체 데이터가 보여주는 '진실'이 사실은 완벽한 '착시'라면? 1973년 UC 버클리 대학을 발칵 뒤집어 놓은 성차별 소송 사건을 통해 '심슨의 역설'을 파헤쳐 봅니다.
2차 세계대전, 폭격기의 생존율을 높이기 위해 군 수뇌부는 총탄 자국이 많은 곳에 장갑을 덧대려 했습니다. 이 어리석은 결정을 막은 천재 통계학자의 이야기를 소개합니다.
최고의 흑맥주를 만들기 위해 투입된 천재 수학자가 어떻게 가명으로 현대 통계학(t-분포)을 뒤바꿔 놓았는지, 기네스 양조장의 흥미로운 데이터 사이언스 역사를 파헤쳐 봅니다.