[마케팅 데이터 함정 퀴즈 2편] ROAS의 거짓말: 성과 지표가 당신을 속이는 7가지 방법
마케팅 데이터 함정 퀴즈 시리즈 2편입니다. 1편(인과관계 vs 상관관계)에 이어, 이번에는 ROAS와 성과 측정 지표가 만들어내는 착시를 다룹니다.
Q9. 브랜드 검색광고 ROAS가 1,500%입니다. 가장 효율적인 채널이니 예산을 더 올려야 할까요?
❌ 이것은 거의 확실한 '자기 잠식(Cannibalization)'입니다.
ROAS 1,500%라는 숫자 뒤에는 불편한 진실이 숨어 있습니다. "나이키"를 검색한 사람은 이미 나이키 웹사이트에 가겠다는 목적이 확고한 고객입니다. 광고를 클릭했든, 자연 검색 결과를 클릭했든, 어차피 나이키에 도착해서 구매했을 것입니다.
2015년 eBay의 대규모 실험이 이를 증명했습니다. 브랜드 검색광고를 전면 중단했는데, 전체 트래픽과 매출에 유의미한 변화가 전혀 없었습니다. 유료 광고를 클릭하던 사람들이 그냥 자연 검색 링크를 클릭해서 들어왔기 때문입니다.
즉, ROAS 1,500%는 광고가 고객을 '만들어낸' 것이 아니라, 어차피 올 고객의 마지막 동선에 서서 통행세를 걷은 것입니다. 이 예산을 논브랜드 키워드나 신규 고객 획득 채널로 옮기면 진짜 성장을 만들어낼 수 있습니다.
🔗 더 알아보기: 브랜드 검색광고 딜레마 1편: 자기 잠식의 덫
Q10. 캠페인 A의 ROAS가 800%, B가 200%입니다. A에 예산을 몰아야 할까요?
⚠️ ROAS가 높다고 증분성(Incrementality)이 높은 것은 아닙니다.
ROAS는 기여도(Attribution)를 측정한 것이지, 증분성(Incrementality)을 측정한 것이 아닙니다. 캠페인 A의 ROAS가 높은 이유는, 어차피 구매할 고객에게 마지막 순간에 광고를 보여주고 그 공로를 가져갔기 때문일 수 있습니다.
반면 ROAS 200%인 캠페인 B는 브랜드를 전혀 모르던 신규 고객에게 첫 인지를 심어주는 역할을 했을 수 있습니다. 이 경우 B의 진짜 비즈니스 기여는 A보다 클 수 있습니다.
Uber는 이 사실을 뼈아프게 깨달았습니다. 연간 $1.5억의 디지털 광고비 중 2/3가 사실상 어차피 앱을 설치할 사람들에게 노출되는 허수 광고였습니다. ROAS 리포트만 보면 아무 문제가 없었지만, 광고를 끄자 앱 설치에 전혀 변화가 없었던 것입니다.
Q11. 라스트 클릭 기준 SNS 광고의 전환이 0건입니다. SNS 예산을 삭감해야 할까요?
❌ 라스트 클릭 어트리뷰션의 구조적 결함입니다.
고객의 구매 여정을 생각해 봅시다. 인스타그램에서 새로운 운동화 광고를 보고 관심이 생겼습니다(인지). 며칠 뒤 블로그 리뷰를 읽었습니다(관심). 다음 주에 구글에서 브랜드명을 검색해서 구매했습니다(전환). 라스트 클릭 모델은 이 전환을 100% 구글 검색의 공로로 돌립니다.
인스타그램은 구매 여정의 시작점에서 결정적인 역할을 했지만, 리포트에는 전환 0건으로 찍힙니다. 이 데이터를 보고 SNS 예산을 삭감하면, 구매 여정의 입구가 막혀 장기적으로 구글 검색 전환까지 줄어드는 악순환에 빠질 수 있습니다.
이것이 바로 라스트 클릭의 구조적 한계이며, 데이터 기반 기여(DDA)나 마르코프 체인(Markov Chain) 같은 멀티 터치 모델이 필요한 이유입니다.
🔗 더 알아보기: 어트리뷰션 모델의 딜레마: 라스트 클릭의 종말과 DDA의 부상
Q12. PMax 캠페인의 ROAS가 기존 캠페인의 3배입니다. PMax가 더 잘하는 걸까요?
⚠️ PMax는 브랜드 트래픽을 블랙박스 안에서 흡수합니다.
Performance Max(PMax)는 구글의 AI가 검색, 디스플레이, 유튜브, 지메일 등 모든 채널에 자동으로 광고를 배분하는 캠페인입니다. 문제는 PMax가 브랜드 키워드 검색 트래픽까지 블랙박스 안에서 가져간다는 점입니다.
앞서 Q9에서 보았듯, 브랜드 검색 트래픽은 ROAS가 압도적으로 높습니다. PMax가 이 알짜 트래픽을 자동으로 끌어모은 뒤, 전체 캠페인의 성과로 보여주기 때문에 기존 캠페인보다 훨씬 효율적으로 보이는 것입니다.
실제로 PMax의 게재 위치(Placement)를 감사해 보면, 상당 부분이 유튜브 키즈 채널의 오클릭이나 MFA(Made For Advertising) 사이트에 노출되는 경우가 발견됩니다.
🔗 더 알아보기: PMax의 블랙박스 해체와 실무진의 이탈 현상
Q13. 대행사 리포트에 전체 ROAS 500%로 나옵니다. 마케팅이 잘 되고 있는 걸까요?
⚠️ 브랜드와 논브랜드를 분리하지 않은 리포트는 거짓말입니다.
이것은 대행사 리포트의 3대 레드 플래그 중 하나입니다. 브랜드 키워드 광고(ROAS 2,000% 이상)와 논브랜드 키워드 광고(ROAS 150%)를 하나의 지표로 합산하면, 전체 ROAS가 500%처럼 아름답게 보입니다.
하지만 이 숫자는 두 가지를 모두 숨깁니다:
- 브랜드 키워드는 자기 잠식(Cannibalization)이므로 진짜 가치가 훨씬 낮고
- 논브랜드 키워드의 실제 효율은 150%로 수익성이 떨어질 수 있습니다
대행사에게 반드시 브랜드와 논브랜드를 분리한 리포트를 요구하세요. 분리를 거부하는 대행사는 의심해야 합니다.
🔗 더 알아보기: 경영진을 속이는 리포트와 대시보드 시각화 원칙
Q14. GA4에서 "전환 100건"이 찍혔는데 실제 매출은 50건입니다. 왜 다를까요?
💡 기술적 추적의 한계와 과대 계상 때문입니다.
GA4(구글 애널리틱스 4)의 전환 데이터와 실제 비즈니스 매출이 불일치하는 이유는 여러 가지입니다:
- 중복 계상: 한 사람이 구매 페이지를 새로고침하면 전환이 2번 찍힐 수 있습니다
- 반품 미반영: GA4는 주문 시점에 전환을 기록하지만, 이후 반품/취소된 건은 차감되지 않습니다
- 크로스 디바이스: 모바일에서 장바구니에 담고 PC에서 결제하면 어트리뷰션이 꼬입니다
- 결제 실패: 결제 페이지 도달을 전환으로 잡았는데 실제 결제가 실패한 경우
CEO는 재무제표의 매출을 보고, CMO는 GA4의 전환을 봅니다. 이 두 숫자가 다르면 마케팅 팀의 신뢰가 무너집니다. 이것이 바로 CEO와 CMO의 데이터 동상이몽입니다.
Q15. 광고 플랫폼이 "이 캠페인으로 1억 매출 발생"이라고 보여줍니다. 믿어도 될까요?
❌ 광고 플랫폼은 자신에게 유리한 숫자만 보여줍니다.
이것은 비대칭 정보(Asymmetric Information)의 문제입니다. 구글이든 메타든 네이버든, 광고 플랫폼은 유료 클릭이 일으킨 매출만 화려하게 대시보드에 보여줍니다. 하지만 "광고가 없었을 때 발생했을 오가닉 클릭"은 절대 보여주지 않습니다.
플랫폼의 비즈니스 모델은 광고주가 더 많은 돈을 쓰게 만드는 것입니다. 그래서 리포트는 항상 "당신의 광고가 이 매출을 만들었습니다!"라는 방향으로 설계됩니다. 플랫폼이 보여주는 성과와 진짜 증분(Incremental) 성과의 차이를 측정하려면, 독립적인 증분 테스트(Incrementality Test)가 필요합니다.
이 시리즈의 다른 글
- 📊 1편: 인과관계 vs 상관관계
- 📉 3편: 평균의 함정과 통계적 속임수 (예정)
- 👻 4편: 노출·클릭·트래픽의 허영 (예정)
- 🤖 5편: 타겟팅과 알고리즘의 함정 (예정)
- 🗣️ 6편: 설문·리서치 데이터의 왜곡 (예정)
- 💰 7편: 예산 배분과 장기/단기 전략 (예정)
📚 참고자료
- Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer Heterogeneity and Paid Search Effectiveness. Econometrica.
- Lewis, R. A. & Rao, J. M. (2015). The Unfavorable Economics of Measuring the Returns to Advertising. Quarterly Journal of Economics.
- Johnson, G. A., Lewis, R. A., & Nubbemeyer, E. I. (2017). Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness. JMR.
- Uber Internal Audit (2019). Ad Fraud & Attribution Analysis.
리타게팅 광고, 무조건 구체적일수록 좋을까? 고객의 취향 형성과 최적의 타이밍
고객이 우리 쇼핑몰에서 구경만 하고 나갔을 때, 방금 본 바로 그 상품을 다른 웹사이트에서 다시 보여주는 전략을 흔히 사용합니다. 과연 이 방법은 언제나 정답일까요? 오늘은 Lambrecht & Tucker (2013)의 연구 논문을 바탕으로 리타게팅 광고의 숨겨진 타...
데이터와 실험이 밝혀낸 디지털 광고의 민낯: 우리는 진짜 ROI를 측정하고 있는가?
백화점의 선구자인 존 워너메이커(John Wanamaker)는 마케팅 역사상 가장 유명한 격언을 남겼습니다. **"내가 광고에 쓰는 돈의 절반은 낭비되고 있다. 문제는 어느 쪽 절반이 낭비인지 모른다는 것이다."** 인터넷과 디지털 매체의 등장으로 많은 마케터들은 이...
데이터가 세상을 구한 순간: 낡은 직관을 박살 낸 10가지 거대한 패러다임 전환
> **퀴즈 하나.** 다음 중 사실은 몇 번일까요? > > A. 전 세계 극심한 빈곤 인구 비율은 지난 20년간 거의 두 배로 늘었다 > B. 전 세계 평균 기대수명은 약 50세다 > C. 저소득국 여자아이 중 초등학교에 다니는 비율은 20%다 > > **정답...
숫자의 사기꾼들: 데이터 조작과 해석의 함정이 부른 역사적 대참사 10선
데이터는 객관적이라고 믿습니다. 하지만 데이터를 만드는 것도, 해석하는 것도 결국 사람입니다. 엑셀 한 칸의 실수가 수백만 명의 삶을 바꾸고, 조작된 12명의 데이터가 전 세계적 공중보건 위기를 만들며, 자동차 안에 심어진 몇 줄의 코드가 기업의 존립을 뒤흔듭니다. 이...
데이터가 거짓말을 하는 순간 (심화편): 역사상 최악의 통계적 착시 8선
흔히 "데이터는 거짓말을 하지 않는다"고 말합니다. 하지만 데이터를 '해석하는 사람'은 종종 치명적인 착각에 빠집니다. 생존자 편향이나 심슨의 역설과 같이 비교적 널리 알려진 통계의 함정 외에도, 역사상 전문가들조차 속아 넘어간 훨씬 교묘하고 위험한 데이터의 착시 현상...
[마케팅 데이터 함정 퀴즈 7편] 예산의 역설: 광고를 끊어도 매출이 안 떨어지는 이유
*마케팅 데이터 함정 퀴즈 시리즈의 마지막 7편입니다. 이번에는 예산 배분과 장기/단기 전략에서 발생하는 역설을 다룹니다.* --- **❌ 이것이 바로 Binet & Field가 경고한 '효율성 함정(The Efficiency Trap)'입니다.** 퍼포먼스 광고(검색...
[마케팅 데이터 함정 퀴즈 6편] 거짓말하는 설문조사: 고객은 왜 진심을 말하지 않을까?
*마케팅 데이터 함정 퀴즈 시리즈 6편입니다. 이번에는 설문조사와 리서치 데이터가 왜곡되는 심리적 메커니즘을 다룹니다.* --- **❌ '사회적 바람직성 편향(Social Desirability Bias)'에 속고 있습니다.** "환경을 생각하시나요?"라는 질문에 "아...