리텐션

🚧

데이터 분석 탭은 운영 환경에서만 진입 가능합니다.

리텐션에 대하여

핵클의 A/B 테스트 리텐션 기능은 A/B 테스트가 진행되는 동안, 테스트에 노출된 사용자 그룹별로 제품에 다시 들어오는지를 리텐션 차트로 확인 할 수 있습니다. 이와 더불어 대조군(그룹 A) 대비 실험군(그룹 B)의 개선율, p-value까지 확인 할 수 있어, 테스트 결과를 의사결정에 활용할 수 있습니다.

리텐션 분석 차트 확인

A/B 테스트 시작 혹은 새로운 리텐션 생성 후 최대 1시간 안에 결과 데이터를 확인할 수 있고, 이후 하루 단위로 데이터가 업데이트 됩니다. 데이터 수집은 A/B 테스트 시작 후 최대 30일까지 수집되며, A/B 테스트 종료 시 중단됩니다.

1. 기간 단위 : 설정한 리텐션 데이터를 일별/주별로 확인 할 수 있습니다.

• Day0 : 시작 이벤트를 발생시킨 날(Day0)에 목표 이벤트를 발생시킨 사용자의 수와 비율.
• Week0 : 시작 이벤트를 발생시킨 주(Week0)에 목표 이벤트를 발생시킨 사용자의 수와 비율.

2. 중복 사용자 제외하기 : 해당 설정을 통해 동일한 사용자가 시작 이벤트를 여러 기간(일 혹은 주)에 발생시켰을 때 계산할 방식을 선택할 수 있습니다.

• 제외할 경우 : 첫 번째 시작 이벤트가 발생한 기간(일 혹은 주)에만 집계됩니다.
• 제외하지 않을 경우 : 시작 이벤트가 발생한 모든 기간(일 혹은 주)마다 모두 집계됩니다.

1. 사용자 수 : 해당 테스트 그룹의 설정한 시작 이벤트를 발생시킨 고유 사용자 수를 의미합니다.
2. 리텐션 : 설정한 기간단위 기준으로 그룹별 리텐션과 사용자 수를 확인 할 수 있습니다. 그룹별 리텐션은 시작 이벤트를 발생시킨 사용자 중 목표 이벤트를 발생시킨 사용자의 비중을 의미합니다.
3. 사용자 수 : 해당 테스트 그룹의 사용자가 각 기간에 목표 이벤트를 발생시킨 사용자 수를 의미합니다.
4. 그룹 A 대비 개선율 : 대조군(그룹 A)의 리텐션은 대비 실험군(그룹 B) 리텐션의 상대적인 차이를 계산한 값입니다. 괄호안에는 절대값이 표시됩니다. Day1의 경우 실험군(그룹 B)가 대조군(그룹 A)보다 17명이 더 잔존하여, 리텐션이 98.4% 증가한 것으로 해석할 수 있습니다. 리텐션의 증가 혹은 감소 여부에 따라 숫자 앞에 +나 -가 표시되고, 증감이 통계적으로 유의미한 경우 각각 초록색, 빨간색으로 표시됩니다.
5. p-value : A/B 테스트 결과의 신뢰도를 표현하는 값으로, p-value 값이 낮을수록 신뢰도가 높다고 판단할 수 있습니다. p-value가 0.05 미만인 경우 그룹 A대비 개선율이 통계적으로 유의미한 것으로 해석하고, p-value가 0.05 이상인 경우 그룹 A 대비 개선율이 통계적으로 무의미한 것으로 해석합니다.

시각화된 그래프로 데이터의 추이를 파악할 수 있습니다. 그래프에 마우스를 갖다대어 해당 날짜의 그룹별 리텐션과 그룹 A 대비 개선율, p-value를 확인 할 수 있습니다.