Release Note (23.01.13)

✉️ 핵클 기능 업데이트 소식

A/B 테스트

[시간 목표] 설정 기능 추가

A/B테스트 목표 생성 시, 시간에 대한 값을 목표로 설정하실 수 있게 되었습니다.
[시간 목표]를 선택하시면 테스트 그룹별 평균 체류 시간과 특정 이벤트로 전환까지 걸린 평균 전환 소요 시간을 목표로 설정하실 수 있습니다.

지원되는 시간 타입은 일, 시간, 분, 초 4가지이며, 소요시간 계산을 위한 이벤트 필터는 5개까지 지정할 수 있습니다.

1. 체류 시간 측정하는 방법

분자 = 소요시간 총합
분모 = 계산유형 사용자 수

[활용 예시] 콘텐츠 구독 서비스
일 평균 체류 시간이 긴 고객일수록 플랜을 해지하는 비중이 낮다는 인사이트를 찾은 당신은 고객들의 평균 서비스 체류 시간을 늘리기 위한 서비스 개선 작업을 진행하기로 합니다. 고객들이 1회 접속 시 체류 시간은 약 10분, 콘텐츠 2-3개를 읽을 수 있는 시간입니다. 관련 있는 콘텐츠들을 모아서 보여주는 라이브러리를 개설하면 목표한 콘텐츠를 읽고 유관 콘텐츠를 추가로 읽을 확률이 높아질 것이라는 가설을 가지고 A/B 테스트를 진행해 보기로 했습니다.

아래와 같이 테스트를 셋팅하고, A안에 노출된 고객 그룹과 B안에 노출된 고객 그룹의 평균 체류 시간을 비교할 경우 콘텐츠 라이브러리 개설이 평균 체류 시간 개선에 효과적이었는지 확인할 수 있습니다.

[분자]

시작 이벤트: 콘텐츠 라이브러리 진입
종료 이벤트: 앱 종료

[분모]

계산 유형: 사용자 수

2. 전환시간 측정하는 방법

분자 = [시작 이벤트] 부터 [종료 이벤트] 에 도달하기까지 소요된 시간의 총합
분모 = 전환 횟수

[활용 예시] 커머스 서비스
고객이 장바구니 페이지에 진입한 순간부터 구매 완료 시점까지 소요되는 시간을 개선하는 A/B 테스트를 진행해 볼 수 있습니다. 전환에 소요되는 평균 소요시간의 단축을 목표로 장바구니 페이지에서 결제 유도를 위한 넛징을 주거나, 구매 상품 지정에 대한 UX를 좀 더 쉽게 개선하는 등 다양한 테스트에 활용할 수 있습니다.

아래와 같이 테스트를 셋팅하고, A안에 노출된 고객 그룹과 B안에 노출된 고객 그룹이 장바구니 페이지 진입부터 구매 전환까지 도달하는데 걸린 평균 전환 시간을 구매 횟수로 나누면 테스트의 성과를 확인하실 수 있습니다.

[분자]

시작 이벤트: 장바구니 페이지 진입
종료 이벤트: 구매 완료

[분모]

계산 유형: 전환 횟수

소요시간 총합을 사용자 수나 전환 횟수로 나눈 평균 값만을 지표로 활용할 수 있기 때문에 [시간 목표]는 보조지표로 활용하시기를 권장 드립니다. 시간 목표 더 알아보기