A/B 테스트 결과 확인 방법

📘

A/B 테스트 결과는 A/B 테스트 상세 페이지의 데이터 분석 탭에서 확인 가능합니다.

테스트가 정상적으로 구현되고 트래픽이 할당되어 사용자가 A/B 테스트에 노출되면 최대 1시간 이내에 테스트 결과가 업데이트 됩니다. 테스트 결과는 이후에도 약 1시간 이내의 시간을 주기로 업데이트 됩니다.

그룹 A, 그룹 B 등 각 테스트 그룹에 노출된 사용자의 이벤트를 수집하여 미리 등록해 둔 목표를 계산하고, 통계적인 분석 결과를 함께 제공합니다.

A/B 테스트 결과에서 제공하는 항목

테스트 시작 전에 등록한 목표를 기준으로 A/B 테스트 결과를 제공합니다. A/B 테스트 결과 페이지에서 확인할 수 있는 항목들은 다음과 같습니다.

공통

등록한 목표와 관계없이 공통적으로 확인 가능한 항목입니다.

• 총 노출 사용자 수: A/B 테스트에 노출된 전체 사용자 수를 의미합니다. 테스트 시작 이후 목표값과 함께 최대 1시간 단위로 한번씩 업데이트 됩니다.

A/B 테스트에 등록된 모든 목표들의 결과가 요약된 내용을 '총 노출 사용자 수' 하단 영역에서 확인할 수 있습니다.

핵클에서는 빈도주의, 베이지안의 2가지 통계적인 분석 방법으로 A/B 테스트의 결과를 확인할 수 있습니다. 데이터 분석 방식 중 원하는 통계분석 방법을 선택할 수 있습니다.

빈도주의 통계분석을 선택시, A/B 테스트 결과를 다음과 같은 형태로 확인할 수 있습니다.

베이지안 통계분석을 선택시, A/B 테스트 결과를 다음과 같은 형태로 확인할 수 있습니다.

아래 항목들은 목표에서 확인할 수 있습니다. p-value와 신뢰구간은 빈도주의 통계분석 방법을 선택시 확인할 수 있는 항목입니다.

• 전체 노출 사용자 수: 각 테스트 그룹에 노출된 사용자 수를 의미합니다.
• 그룹 A 대비 개선율: 그룹 A 대비 각 실험군(그룹 B, 그룹 C, ...)에서 측정된 목표 값의 차이를 의미합니다. 상대적인 변화율을 나타내며, 괄호안의 값은 목표 값의 절대값 차이를 의미합니다.
• 기준: 그룹 A의 목표 값을 의미합니다.
• p-value: 그룹 A 대비 개선율이 통계적으로 얼마나 유의미한지를 설명합니다. p-value는 0부터 1까지의 값을 나타낼 수 있으며, 일반적으로 0.05 미만인 경우 통계적으로 유의미하다고 판단할 수 있습니다.
• 신뢰구간: 실제 '그룹 A 대비 개선율'이 나타낼 수 있는 값의 범위를 확인할 수 있습니다. 테스트 결과가 유의성을 보이는 경우, 신뢰구간이 양수만을 포함하거나 음수만을 포함하게 됩니다.

지금부터 설명하는 목표의 첫번째 2개 열에 있는 항목의 경우, 목표 등록시 선택한 분모의 이벤트와 분모/분자의 계산 유형에 따라 다른 명칭으로 보여질 수 있습니다.

일부 목표 유형의 화면을 아래에서 확인할 수 있습니다.

'사용자 전환율' 목표

• 총 이벤트 사용자 수: 각 테스트 그룹 별로 몇 명의 사용자들이 이벤트를 발생시켰는지를 의미합니다. 순 사용자(Unique Visitor)를 기준으로 산출하는 값이기 때문에, 한 명의 사용자가 같은 이벤트를 여러 번 발생시킨 것도 한 번으로 계산합니다.
• 사용자 전환율: 테스트 그룹 별 총 이벤트 사용자 수를 전체 노출 사용자 수로 나눈 값 입니다.

'사용자당 평균값' 목표

• 총 이벤트 값: 각 테스트 그룹에 노출된 사용자들이 발생시킨 이벤트에 대하여, 해당 이벤트의 속성으로 제공한 값을 모두 합한 것을 의미합니다. 예를 들어, 구매 완료라는 이벤트의 속성으로는구매 금액을 제공할 수 있으며, 이 경우 총 이벤트 값은 사용자들의 총 구매 금액이 됩니다.
• 사용자당 평균값: 총 이벤트 값을 전체 노출 사용자 수로 나눈 값 입니다. 구매 금액의 예시로 생각한다면, 각 테스트 그룹에 노출된 사용자들의 평균 구매 금액을 의미합니다.

'사용자당 평균횟수' 목표

• 총 이벤트 횟수: 각 테스트 그룹에 노출된 사용자들이 발생시킨 이벤트 횟수를 모두 합한 것을 의미합니다. 예를 들어, 좋아요 버튼 클릭이라는 이벤트를 선택했다면, 이 경우 총 이벤트 횟수는 사용자들이 좋아요 버튼을 클릭한 횟수를 모두 합한 값이 됩니다.
• 사용자당 평균횟수: 총 이벤트 횟수를 전체 노출 사용자 수로 나눈 값 입니다. 좋아요 버튼의 예시로 생각한다면, 각 테스트 그룹에 노출된 사용자들이 좋아요 버튼을 클릭한 평균 횟수를 의미합니다.

'시간' 목표

• 총 소요 시간의 합: 각 테스트 그룹에 노출된 사용자들의 시작 이벤트 → 종료 이벤트 전환에 소요된 시간을 합한 것을 의미합니다. 예를 들어 홈페이지 진입 → 로그인 완료 로 시작/종료 이벤트를 선택했다면, 이 경우 총 소요 시간의 합 은 사용자들이 홈페이지 진입부터 로그인 완료까지 걸린 시간을 모두 합한 것이 됩니다.

• 평균 소요 시간: 총 소요 시간의 합을 총 전환 횟수로 나눈 값 입니다. 홈페이지 진입 → 로그인 완료의 예시로 생각한다면, 홈페이지 진입 → 로그인 완료 에 소요된 평균 시간을 의미합니다.

통계적인 의미를 갖는 항목

목표 별로 확인할 수 있는 통계적인 의미를 나타내는 항목에 대한 설명입니다.

신뢰구간

그룹 A 대비 개선율 이 나타낼 수 있는 값의 범위를 확인할 수 있습니다. 테스트 결과가 유의성을 보이는 경우, 신뢰구간이 양수만을 포함하거나 음수만을 포함하게 됩니다. 신뢰구간 위에 마우스 커서를 위치하여 신뢰구간의 양쪽 끝 값의 수치를 확인할 수 있습니다.

결과가 유의하고 양수인 경우 신뢰구간은 0의 오른쪽에 있습니다. 만약, 성공기준을 '그룹 A 대비 감소시' 로 설정한 경우 이와 반대됩니다.
이 경우 해당 테스트 그룹 이름 오른쪽에 초록색 Significant 배지가 붙습니다. 이는 그룹 A에 비해 해당 테스트 그룹이 유의미하게 우수한 성과를 보인다는 것을 뜻합니다.

결과가 유의하고 음수이면 신뢰구간은 0의 왼쪽에 있습니다. 다만, 아래 예시의 경우 목표 등록과정에서 성공기준을 '그룹 A 대비 감소시' 로 설정했기 때문에 결과가 유의하고 양수이며 신뢰구간이 0의 오른쪽에 위치하게 됩니다.
이 경우 해당 테스트 그룹 이름 오른쪽에 빨간색 Significant 배지가 붙습니다. 이는 그룹 A에 비해 해당 테스트 그룹이 유의미하게 저조한 성과를 보인다는 것을 뜻합니다.

결과로 결론을 내리지 못하는 경우, 신뢰구간에는 0이 포함됩니다.
유의미한 성과를 낸 그룹이 없기 때문에 어떤 테스트 그룹에도 Significant 배지가 붙지 않습니다.

추이 그래프

각 목표 하단에 있는 그래프 보기를 누르면 날짜 별 추이를 나타내는 그래프를 볼 수 있습니다. (그래프가 나타난 상태에서는 그래프 접기로 텍스트가 바뀝니다.)
선택했던 목표 유형, p-value (빈도주의), 가장 우수할 확률 (베이지안), 그룹 A보다 우수할 확률 (베이지안) 총 4가지 항목 중 선택할 수 있습니다. 아래 이미지는 사용자 전환율을 목표로 선택한 경우입니다.

• p-value: A/B 테스트 결과의 신뢰도를 표현하는 값 입니다. p-value는 낮을수록 더 신뢰도가 높은 결과임을 의미합니다.
  특히 0.05 미만인 경우 통계적 유의성을 보이는 것으로 판단할 수 있습니다. 이 경우, Significant 배지를 볼 수 있습니다.

• 가장 우수할 확률: 각 테스트 그룹이 가장 우수할 확률을 나타냅니다. 해당 값은 베이지안 통계(Bayesian Statistics)에 기반하여 산출됩니다.

• 그룹 A보다 우수할 확률: 실험군이 대조군(그룹 A)보다 우수할 확률을 나타냅니다. 해당 값은 베이지안 통계에 기반하여 산출됩니다.

그래프에서 특정 지점의 수치를 알고 싶다면 위 이미지처럼 해당 지점에 마우스 오버해서 확인할 수 있습니다.

FAQ

• 테스트 기기에서 발생한 데이터도 실험 결과에 반영되나요?
  • 일반적으로 테스트 기기에 등록된 데이터는 실험 결과에 반영되지 않습니다. 다만, 테스트 기기 등록 전에 이미 실험에 노출된 경우에는 반영됩니다.