일상 예시로 보는 통계의 함정 알아보기

통계를 보면 마음이 든든해집니다. 숫자는 정직하고 그래프는 객관적이어 보이죠. 그런데 문제는 해석하는 사람입니다. 똑같은 숫자도 프레임을 어떻게 씌우느냐에 따라 전혀 다른 메시지가 됩니다. 이 글에서는 대표적인 통계의 함정 8가지를 생활 밀착 예시와 함께 설명하고, 바로 써먹을 수 있는 실전 체크리스트를 덧붙였습니다. 광고, 보도자료, 사내 리포트, 투자 프리젠테이션을 볼 때 옆에 놓고 하나씩 대조해 보세요.

1) 상관관계와 인과관계를 뒤섞기

비가 많이 오는 날 우산 판매가 늘면, 비가 우산 판매를 늘린 겁니다. 하지만 아이스크림 판매와 익사 사고가 함께 증가한다고 해서 아이스크림이 사고를 일으키는 건 아니죠. 둘 다 여름이라는 숨은 요인의 영향일 뿐입니다.

현실 예시: “우리 앱 푸시를 보낸 날 DAU가 올랐다 → 푸시가 성장을 만들었다”는 결론은 위험합니다. 같은 날 프로모션이나 외부 이슈가 있었을 수 있습니다.
실전 팁: 시간 순서(원인→결과)와 통제 변수(프로모션, 계절성 등)를 꼭 확인하고, 가능한 한 A/B 테스트로 검증하세요.

2) 생존자 편향과 선택 편향

전설적인 이야기: 전투에서 돌아온 비행기의 총탄 자국만 보고 보강할 곳을 정하면, 돌아오지 못한 비행기의 자국은 영원히 못 봅니다. 돌아온 비행기 ‘데이터’만 본 선택 편향이죠.

현실 예시: 커뮤니티에는 성공 후기만 가득합니다. “이 강의를 들으면 연봉이 오른다”는 주장도 탈락자의 침묵이 반영되지 않은 결과일 수 있습니다.
실전 팁: 표본이 어떻게 뽑혔는지, 누가 빠졌는지(비응답·중도 이탈)를 먼저 보세요.

3) 기준률(베이스레이트) 무시

“정밀한 AI 탐지기로 가짜 리뷰를 잡아낸다”는 말이 있어도, 원래 가짜 리뷰가 전체의 몇 퍼센트인지(기준률)를 모르면 오판합니다. 드문 사건일수록 오탐 비율이 결과를 지배합니다.

현실 예시: 사내 보안 경보의 대부분이 오탐이라면, 진짜 사고를 놓치기 쉽습니다.
실전 팁: 조건부 확률만 보지 말고, 전체 발생률과 오탐/미탐 비율을 함께 적어보세요.

4) 그래프의 눈속임: 잘린 y축, 기간 자르기

막대그래프의 y축을 95부터 시작하면 96과 97의 차이가 절벽처럼 보입니다. 또, 매출이 좋았던 구간만 골라 보여주면 성장 곡선은 언제나 우상향이 됩니다.

현실 예시: 다이어트 앱의 체중 그래프에서 y축이 1kg 범위로 잘려 있으면, 미세한 변동도 대성공처럼 보입니다.
실전 팁: y축이 0에서 시작하는지, 기간 선택이 임의는 아닌지, 동일 축척으로 비교했을 때도 메시지가 유지되는지 체크하세요.

5) 심슨의 역설: 나누면 뒤집힌다

전체 평균에서는 A가 B보다 좋아 보이는데, 세부 그룹(예: 난이도, 부서, 병원 규모)으로 나누면 오히려 B가 전 구간에서 앞서는 현상입니다. 숨은 교란변수의 전형적인 신호죠.

현실 예시: 전체 전환율은 캠페인 1이 높지만, 유입 채널별로 나눠보면 캠페인 2가 모든 채널에서 더 좋을 수 있습니다. 캠페인 1이 우연히 전환률 높은 채널에 트래픽을 많이 실었을 뿐.
실전 팁: 전체와 하위 그룹을 둘 다 보고, 표본 크기와 분포가 비슷한지도 확인하세요.

6) p값 오해와 p-해킹(데이터 캐기)

p값은 “가설이 맞을 확률”이 아닙니다. 데이터가 우연히 이렇게 나올 가능성일 뿐이죠. 또, 같은 데이터로 수십 가지 방법을 시도해 가장 예쁜 결과만 뽑아내면, 우연도 발견이 됩니다.

현실 예시: 사내 A/B 테스트에서 기간을 늘렸다 줄였다, 특정 사용자군만 골라보는 시도를 반복하다 보면 언젠가 유의해집니다. 그게 진짜 효과라는 보장은 없습니다.
실전 팁: 실험은 사전등록(지표·기간·분석법 고정), 다중비교 보정, 효과크기와 신뢰구간을 함께 보고, 재현 검증을 하세요.

7) 회귀 효과: 극단은 평범으로 돌아온다

주가가 유난히 급등한 다음 날은 대개 평온합니다. 시험에서 운 좋게 만점 받은 학생이 다음 시험에서 약간 떨어지는 것도 자연스러운 회귀입니다.

현실 예시: 매출이 유독 좋았던 점포에 “격려 멘토링”을 하고 다음 달 매출이 감소했다면, 멘토링 탓이라기보다 원래 평균으로 돌아왔을 가능성이 큽니다.
실전 팁: 극단값 이후의 변화를 “조치의 효과”로 보기 전에, 자연적 변동과 계절성·프로모션을 분리해 보세요.

8) 상대위험 vs 절대위험

“신규 기능 도입 후 이탈 위험 50% 감소”는 인상적이지만, 절대 위험이 2%→1%로 바뀐 것이라면 실제로는 1%p 개선입니다. 의사결정은 절대 차이와 분모를 봐야 정확합니다.

현실 예시: 건강기능식품 광고에서 “위험 절반 감소”가 흔합니다. 하지만 절대 위험이 매우 낮다면 기대효과는 미미할 수 있습니다.
실전 팁: 상대위험(RR)과 절대위험(AR), 필요처치수(NNT) 같은 절대 지표를 함께 요구하세요.

바로 써먹는 통계 함정 방지 체크리스트(현업용)

1. 문제 정의를 한 줄로 쓰고, 그 문장을 기준으로 지표를 고정한다.
2. 데이터 수집 과정(누가, 무엇을, 언제, 왜 빠졌는지)을 문서화한다.
3. 기준률과 분모를 먼저 적는다(총 표본, 그룹별 표본 포함).
4. 전체와 하위 그룹 모두 본다(연령, 채널, 난이도, 지역 등).
5. 시간 창을 바꿔 본다(일/주/월), 구간 자르기 유혹을 경계한다.
6. 그래프는 y축 0 시작을 기본으로, 동일 축척으로 비교한다.
7. 인과 주장은 반드시 실험 설계나 자연실험, 도구변수 등 근거를 붙인다.
8. p값 대신 효과크기와 신뢰구간을 함께 보고, 다중비교 보정을 기록한다.
9. 재현성 점검: 다른 표본·다른 기간·다른 모델로 같은 결론이 나오는가.
10. 반례 찾기: 결론이 틀리는 상황을 먼저 열거해 본다(“언제 이 말이 성립하지 않는가?”).

생활 밀착 미니 시나리오

• 쇼핑: “리뷰 98%가 별 다섯”이라지만, 최근 한 달 리뷰만 보면 별점이 떨어질 수 있습니다(기간 자르기·선택 편향).
• 투자: “백테스트 수익률 200%”라지만 현재 생존한 종목만 포함했는지, 지수 편입 변화를 반영했는지 확인하세요(생존자 편향).
• 건강: “질환 위험 60% 감소”라는 말이 보이면, 절대 위험과 NNT를 함께 찾아보세요(상대 vs 절대 위험).
• 업무: “푸시가 매출을 끌어올린다”는 주장이 나오면, 같은 날 다른 이벤트가 없었는지, 실험으로 재검증하세요(상관 vs 인과).

마무리

통계의 함정은 숫자 자체보다 맥락과 선택에서 태어납니다. 보고서나 그래프를 볼 때 이번 체크리스트로 먼저 스스로를 의심해 보세요. 특히 “너무 그럴듯한” 결론일수록 한 번 더 뒤집어 보는 습관이 리스크를 크게 줄여줍니다.

 

참고 자료

아래 자료들은 본문에서 다룬 개념을 더 깊이 이해하는 데 도움이 됩니다.

• American Statistical Association, p값에 대한 공식 성명과 원칙 정리. 
• 데이터 캐기(p-해킹)와 다중비교 문제를 다룬 바이어스 카탈로그. 
• 상대위험/절대위험/NNT 개념 정리(NCBI Bookshelf). 
• 생존자 편향과 아브라함 발트 사례(AMS Feature Column, 위키피디아 개요). 
• 심슨의 역설: 개념·사례(Stanford Encyclopedia of Philosophy, 위키피디아 개요). 
• 회귀 효과(브리태니카, 위키피디아 개요).
• 오도하는 그래프: 잘린 y축의 효과와 사례 정리.