극단치

📘

A/B 테스트 결과에서 극단치 제외 옵션은 A/B 테스트 상세 페이지의 데이터 분석 탭에서만 제공 합니다.

극단치에 대하여

통계학에서 극단치는 관측된 데이터의 세트에서 다른 값들과 비교했을 때 비정상적으로 높거나 낮은 값을 말합니다. 극단치는 관측된 데이터 세트를 활용해 수행된 분석 결과의 정확성을 심각하게 왜곡할 수 있으며 잠재적으로 잘못된 결론을 초래할 수 있습니다. 왜냐하면 우리가 실험 목표 분석에서 사용하는 값은 대부분 평균값으로, 익히 알려진 바와 같이 통계학에서 대표값으로 사용하는 평균, 중앙값, 최빈값 중 평균은 극단치에 의해 영향을 많이 받기 때문입니다.

예를 들어 한 온라인 쇼핑몰에서 방문자 당 총 주문 금액을 개선하기 위한 실험을 한다고 상상해 보십시오. 일반적인 방문자는 해당 쇼핑몰에서 1주일 평균 10만원을 소비합니다. 이때 소수의 방문자가 평균보다 100배 높은 금액(1,000만원)의 주문을 한다면? 실험 목표 분석에 있어 이런 극단적인 사용자가 특정 그룹에 포함되게 되면 A/B 그룹간 비교에 왜곡이 발생해 실험에서 잘못된 결론을 도출할 수 있습니다.

이러한 이유로 핵클에서는 실험 목표의 분모가 횟수 또는 값인 경우 데이터 분석 탭에서 극단치가 제거된 실험 결과를 확인할 수 있는 옵션을 제공합니다.

극단치 탐지 및 처리 방법

극단치 제외 옵션이 활성화되면 핵클은 실험에 등록된 목표 단위로 평균(mean)과 표준편차(standard deviation)를 계산해 목표 분석에 사용된 개별 사용자의 집계 결과(X)를 z-score (mean = 0, standard deviation = 1)로 변환하고 그 결과 값이 (z-score) 3보다 크거나 -3보다 작은 경우 극단치로 식별해, 이를 제외하고 목표를 재집계 합니다.

z-score = ( X - mean ) / standard deviation

극단치를 제외할 수 있는 목표(하단 표 참조)가 등록된 경우 아래 그림과 같이 극단치 제외 옵션을 활성화 시킬 수 있습니다.
다만, 극단치를 제외할 수 있는 목표 일지라도 원천 데이터에 극단치가 없다면 활성화 하더라도 비활성화 상태로 확인한 결과와 같을 수 있습니다.

전체 노출 기준을 분모로 선택시, 아래 2가지의 유형의 목표에 대해 극단치 제외 옵션이 적용 됩니다.

특정 이벤트 기준을 분모로 선택시, 아래 2가지의 유형의 목표에 대해 극단치 제외 옵션이 적용 됩니다.