마케팅 예산 잔혹사: eBay는 어떻게 검색광고(SEM)의 오해를 벗겨냈는가?

최근 마케팅 업계에서는 "브랜드 키워드 광고는 돈 낭비다"라는 주장이 심심치 않게 들립니다. Meta의 CMO인 Alex Schultz 역시 이 주장의 강력한 신봉자죠.

이 거대한 도발의 배경에는 퍼포먼스 마케팅의 역사를 바꾼 전설적인 논문 한 편이 있습니다. 바로 Thomas Blake(eBay), Chris Nosko(Chicago Booth), Steven Tadelis(UC Berkeley)가 2015년에 발표한 대규모 현장 실험 논문입니다.

우리가 매일 보는 대시보드의 화려한 ROAS(광고수익률)가 왜 허상일 수 있는지, 이 논문의 핵심 섹션을 차근차근 해부하며 번역해보겠습니다.

---

🔍 Section 1. 상관관계(Correlation)인가, 원인(Causality)인가?

논문의 서론은 온라인 마케팅 데이터가 가진 치명적인 약점, 즉 '내생성(Endogeneity)' 문제를 지적하며 시작합니다.

쉽게 비유해 보겠습니다. 유명한 맛집 앞에 호객꾼(광고)이 서 있습니다. 호객꾼이 길을 지나는 사람들의 팔을 붙잡아 식당 안으로 들여보낸 뒤 사장님에게 수수료를 요구합니다. 사장님은 호객꾼 덕분에 매출이 올랐다고 생각(착시)합니다. 하지만 사실 그 손님들은 어차피 그 식당에 밥을 먹으러 가던 '단골 손님'이었습니다. 호객꾼은 단지 손님이 문을 열기 직전, 마지막 순간에 끼어들어 자기 성과로 가로챘을 뿐입니다.

검색 광고도 마찬가지입니다. 광고를 클릭해서 매출이 발생한 것인지, 아니면 어차피 살 마음이 듬뿍 담긴 유저들이 검색을 했기 때문에 광고를 클릭한 것인지 알아내야만 합니다.

⛔ Section 3. 브랜드 검색 실험 (Brand Search Experiments)

연구진은 이 가설을 증명하기 위해 거대한 스위치를 내렸습니다. Yahoo와 MSN에서 'eBay'가 들어간 브랜드 키워드 검색 광고를 완전히 중단해본 것이죠. 아래는 그 충격적인 결과를 보여주는 실제 실험 데이터입니다.

eBay Brand Search Experiment Results

*가운데 파란 음영 처리된 기간이 광고를 껐을 때입니다. 유료 클릭(MSN Paid)이 소멸하자 자연 검색(MSN Natural)이 기둥처럼 치솟습니다.*

완전한 대체 효과 (Perfect Substitution)

그래프가 모든 것을 말해줍니다. 유료 광고(Paid Search)를 끄자 당연히 유료 클릭 트래픽은 0으로 추락했습니다. 하지만 놀랍게도 자연 검색(Organic Search) 트래픽이 잃어버린 유료 트래픽의 99.5%를 정확히 흡수하며 수직 상승했습니다. 결국 eBay로 들어오는 총 방문자 수와 매출에는 아무런 변화가 없었습니다.

결론은 명확했습니다. "내 브랜드를 직접 검색한 사람에게 보여주는 광고는 예산을 허공에 날리는 짓이다."

---

🧪 Section 4. 일반 키워드 대조 실험 (이중차분법의 비밀)

그렇다면 브랜드 이름이 없는 일반 명사 검색어(예: '중고 기타')는 어떨까요? 모르는 사람을 끌어올테니 효과가 있지 않을까요? 연구진은 이를 확인하기 위해 미국을 여러 시장(DMA)으로 쪼개고, 무작위 30% 지역에서만 일반 키워드 광고를 꺼버렸습니다.

그리고 그 유명한 이중차분법(DiD: Difference-in-Differences) 방정식을 사용하여 매출의 진짜 원인을 발라냅니다.

ln(Sales_it) = β_1 × AdsOn_it + β_2 × Post_t + β_3 × Group_i + ε_it

공식이 어려워 보이지만 해설하면 아주 간단합니다.

1. Group_i: "이 동네가 원래 돈이 많아서 물건을 많이 사는 동네인가?" (지역 특성)
2. Post_t: "지금이 연말연시라서 다들 쇼핑을 많이 하는 시기인가?" (시기적 특성)
3. AdsOn_it: "위의 두 요인을 싹 다 뺐을 때, 순수하게 '광고(Ads)'를 켜서 오른 매출의 진짜 크기(β_1)는 얼마인가?"

이 가혹한 검증 결과, β_1은 0에 한없이 수렴(0.006)하여 통계적으로 아무 의미가 없음이 밝혀졌습니다. 즉, 전체적으로 봤을 때 일반 키워드 광고 역시 매출을 전혀 증대(Incremental)시키지 못했습니다.

---

👥 Section 4.2. 누구의 클릭이 예산을 갉아먹는가? (소비자 이질성)

그 많은 광고비는 다 어디로 갔을까요? 연구진은 소비자들을 '과거에 얼마나 자주 구매했는가'를 기준으로 나누어 살펴보고 놀라운 사실을 발견합니다.

고객 세그먼트 (최근 1년 구매 횟수)	광고 유무에 따른 매출 증분 (Incrementality)	광고 클릭의 성격
신규 및 비활성 유저 (0회)	뚜렷한 증가 (광고 효과 큼)	'정보 (Information)' 제공
간헐적 구매자 (1~2회)	미미한 증가	브랜드 상기(Reminder) 효과 일부 존재
단골 고객 (3회 이상)	증가분 없음 (0)	단순 '네비게이션 (Navigation)' 목적

1. 신규 및 비활성 유저 (New / Infrequent Users)

   • 이들에게는 검색 광고가 실제로 통했습니다! (긍정적인 퍼포먼스)
   • 이들은 아직 어디서 물건을 살지 결정하지 않았기 때문에, 검색창 최상단에 뜬 광고가 유용한 '정보(Information)' 역할을 했습니다.

2. 단골 고객 (Frequent Users)

   • 1년에 3회 이상 구매하는 단골 고객들은 광고 유무에 상관없이 어차피 똑같은 양의 물건을 샀습니다. 매출 증가분이 '0'이었습니다.
   • 문제는 가장 많은 수의 클릭과 광고 예산이 바로 이 맹목적인 단골들의 클릭에 소진되고 있었다는 것입니다.

결과적으로 엄청나게 예산을 갉아먹는 헤비 유저들 때문에, eBay 검색광고 전체의 실제 실험 기반 ROI(투자 대비 수익률)는 -63%로 산출되었습니다.

⚠️ WARNING

데이터의 배신 (Observational vs. Experimental ROI) 마케터들이 대시보드에서 흔히 보는 관측 데이터 기반(OLS)으로 성과를 측정했을 때 eBay 광고의 ROI는 +4,100%라는 터무니없는 착시가 나타났습니다. 하지만 진짜 인과관계(실험)를 측정한 결과는 -63%였습니다. 이 거대한 갭(Gap)이 바로 '내생성(Endogeneity)'이 만드는 환상입니다.

---

💡 Marketer's Takeaway: 덜어냄의 미학

Tadelis의 논문은 매일 GA나 어드민의 대시보드 숫자에 일희일비하는 마케터들에게 묵직한 경종을 울립니다. 화려한 ROAS 숫자 이면에는 늘 '내생성'이라는 착시가 숨어있습니다.

1. 지켜볼 숫자를 바꿔라: CPA나 ROAS가 아니라, 광고를 껐을 때와 켰을 때 발생하는 진짜 순수 증가분인 증분(Incrementality)을 테스트하고 집착해야 합니다.
2. 타겟팅의 고도화: 가장 쉬운 길(어차피 살 사람 타겟팅)을 버려야 합니다. 돈은 신규 유저나 떠나간 잠재 고객에게 쓰고, 충성 유저에게는 무료 채널(이메일, 카카오톡, 오가닉 검색)을 통해 접근해야 예산을 아낄 수 있습니다.

데이터 뒤에 숨은 심리를 파헤치는 일, 그것이 진짜 마케터의 역할이 아닐까요?

---

📚 참고자료

• Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment. Econometrica, 83(1), 155-174.
• 📄 논문 원문 다운로드 (PDF)