전사 영향도 (Global Impact)

📘
전사영향도 지표는 MAB 테스트에서는 제공되지 않습니다.

전사영향도란?

전사영향도는 A/B 테스트 결과를 사이트 전체에 적용했을 때의 기대 성과를 측정하는 지표입니다. 실험에 참여하지 않은 사용자들까지 포함하여 전체 서비스 관점에서 실제 비즈니스 임팩트를 예측합니다.

언제 사용하나요?

제한된 대상으로 실험한 경우

특정 OS 대상: iOS 사용자만 대상으로 한 실험을 Android 포함 전체에 적용할 때
특정 코호트: 신규 사용자만 대상으로 한 실험을 전체 사용자에게 확대할 때
지역별 테스트: 특정 지역 사용자 대상 실험을 전국/전세계로 확장할 때
일부 트래픽: 10% 트래픽으로 진행한 실험을 100% 적용할 때의 효과 예측

네트워크 효과가 있는 실험의 경우

소셜 기능: 친구 추천, 피드 알고리즘 변경
마켓플레이스: 판매자-구매자 상호작용 변화
커뮤니티: 게시물, 댓글 정책 변경

내부 리소스 제약에 영향을 받거나, 줄 수 있는 실험의 경우

재고 관리: 할인 정책으로 인한 재고 부족
서버 리소스: 새 기능으로 인한 시스템 부하
인력 운영: 고객 서비스 요청 증가

무엇을 해결하나요?

A/B 테스트는 일반적으로 실험에 참여한 사용자 집단만 비교합니다. 하지만 실제 비즈니스 의사결정에서는 사이트 전체에 기능을 도입했을 때의 영향을 알고 싶습니다. 전사영향도 지표는 특정 변수를 사이트 전체에 적용했을 때의 기대 성과를 계산하여, 실험 참여자뿐만 아니라 비실험 사용자까지 포함한 전체적인 영향을 예측합니다.

어떻게 측정되나요?

기본 설정
- 대조군(Control): 기존 경험을 받는 사용자
- 실험군(Treatment): 새로운 경험을 받는 사용자
- 전사 사용자: 테스트에 참여하지 않은 모든 사용자
지표 계산
- 직접 효과: 대조군 vs 실험군 지표 비교
- 전사 효과: 전체 서비스 지표 변화

간단 예시

iOS 사용자 대상 실험

전체 사용자: 10,000명 (iOS 3,000명, Android 7,000명)
실험 참여자: 1,500명 (iOS 사용자의 50%)
- 그룹 A (대조군) : 500명 , 전환 사용자 45명
- 그룹 B (실험군) : 500명, 전환 사용자 40명
- 그룹 C (실험군) : 500명, 전환 사용자 60명
실험에 참여하지않은 사용자: 8,500명, 전환 사용자 850명

전환율 계산

실험 참여자 대상 전환율
- 그룹 A : 9.0% (45명 전환 / 500명)
- 그룹 B : 8.0% (40명 전환 / 500명)
- 그룹 C : 12.0% (60명 전환 / 500명)
실험에 참여하지않은 사용자 전환율: 10.0% (850명 전환 / 8,500명)
Site-wide 전환율
- Site-wide 예상 분자 = 비실험군 사용자 수 x 비실험군 전환율 + 실험군 전체 사용자 수 x 특정 실험군 전환율
- Site-wide 예상 분모 = 전체 사용자 수
  - 그룹 A
    - Site-wide 예상 분자 = (8,500 × 0.10) + (1500 × 0.09) = 850 + 135 = 985
    - Site-wide 분모 = 10,000
    - Site-wide 전환율 = 985 ÷ 10,000 = 9.85%
  - 그룹 B
    - Site-wide 예상 분자 = (8,500 × 0.10) + (1500 × 0.08) = 850 + 120 = 970
    - Site-wide 분모 = 10,000
    - Site-wide 전환율 = 970 ÷ 10,000 = 9.7%
  - 그룹 C
    - Site-wide 예상 분자 = (8,500 × 0.10) + (1500 × 0.12) = 850 + 180 = 1,030
    - Site-wide 분모 = 10,000
    - Site-wide 전환율 = 1,030 ÷ 10,000 = 10.3%

해석: iOS 실험 결과를 전체 서비스(Android 포함)에 적용하면, 전체 전환율은 그룹 A 9.85%, 그룹 B 9.7%, 그룹 C 10.3%가 될 것으로 예상됩니다.

사용 방법

대시보드의 지표 관리 메뉴에서 기존에 등록된 지표 중에 전사 영향도를 파악하고 싶은 지표를 찾아 전사영향도 토글을 on으로 등록합니다.

A/B테스트를 진행하면, 전사 영향도 지표가 자동으로 계산됩니다.

전사영향도 지표

데이터 요약

자주 받는 질문

Q: 왜 실험군만 보지 않고 비실험군도 포함하나요? A: 실제 전체 도입 시에는 사이트의 모든 사용자에게 적용되기 때문입니다. 비실험군의 현재 행동 수준이 Site-wide 결과에 큰 영향을 미칩니다.

Q: 실험 참여율이 낮으면 Site-wide 효과도 작아지나요? A: 맞습니다. 실험 참여율이 낮을수록 비실험 사용자의 기존 지표가 더 큰 비중을 차지하여 Site-wide 효과가 희석됩니다.

Q: 특정 OS나 코호트만 대상으로 한 실험도 전사 적용 예측이 가능한가요? A: 네, 가능합니다. iOS만 대상으로 한 실험이라도 전체 사용자(Android 포함) 관점에서 Site-wide 효과를 계산할 수 있습니다. 다만 OS별 행동 차이가 클 경우 예측 정확도는 달라질 수 있습니다.

Q: 전사 영향도 지표로 선택할 수 없는 지표가 있어요 A: 이벤트 지표에서 분모가 전체 노출자 횟수 인 경우, 그리고 시간 지표, 퍼널 지표, 리텐션 지표는 전사 영향도를 지원하지 않습니다.

Q: 전사 영향도 지표를 추가했는데, 다른 지표는 결과 확인이 되는데, 전사영향도 지표 결과가 계산되지않아요 A: 다른 지표와 달리 전사 영향도 지표는 매일 한번 계산됩니다.

활용 팁

사전 가설 수립: 예상되는 전사 영향을 미리 정의
단계적 롤아웃: 소규모 테스트 → 전사 영향도 확인 → 점진적 확대
다각도 분석: 매출, 사용성, 운영비용 등 종합적 검토
세그먼트별 검증: 특정 OS/코호트 실험 시 다른 세그먼트에서의 적용 가능성 검토

전사영향도 지표를 통해 A/B 테스트의 진정한 비즈니스 임팩트를 정확히 측정하고 데이터 기반 의사결정을 내릴 수 있습니다.