A/B 테스트 기획 문서 작성하기
A/B 테스트 설계할 때 이 One-Pager 템플릿을 고려해서 작성해보시면, 더 꼼꼼하게 A/B 테스트를 기획, 준비하고 lesson learn 을 얻을 수 있어요.
(*) 는 필수 항목이니 최대한 예시처럼 실험을 준비해보세요.
실험 준비
1. 발견한 문제 *
- 어떤 문제를 발견했나요? (데이터 포인트/정성적 인터뷰 내용 기재.)
- ex. 상품 목록 뷰 수는 많은데, 상품 클릭 비율이 낮다.
2. 문제해결을 위한 분석 및 정의*
- 이 문제를 어떻게 분석했고, 정의했나요? (정성적, 정량적 데이터 추가)
3. 해결을 위한 가설 정의 *
- 이 문제를 어떻게 해결할 수 있을까요?
- ex. 상품 목록에서 할인율을 표기하면 클릭률이 높을 것이다.
4. 실험 진행 기간
- ex. 2023.01.01 - 2023.01.15. (약 2주)
5. 사용자 분배 시점 *
- ex. 상품 목록을 보는 시점에서 분배
실험 진행
1. 변경 적용한 내용*
- Group A : 기존 (변경 없음)
- Group B : 변경 (변경 내용 적용)
2. 실험 적용한 타켓 설명*
- ex. 모든 유저
3. 성공 지표*
- 어떤 지표가 상승/감소하면 이 실험이 성공일 지 써주세요.
- ex. 상품 클릭 비율 (click_product / view_product_list)
4. 보조 지표
- 실험의 영향을 파악하기 위해, 함께 보면 좋을 지표가 있다면 추가로 확인해요.
- 장바구니 담기 비율 (click_add_cart / view_product_detail)
- 구매전환율 (complete_purchase / view_product_detail)
5. 가드레일 지표
- 실험을 진행할 때 반드시 이 지켜야 할 지표를 고려해보세요.
- ex. 주문 취소율, 리텐션 등
6. 실험 확인할 수 있는 URL
실험 이후
1. 실험 이후 결과*
- Winner group(이긴 안) : Group B
2. 그룹 A 가 이겼다면 무엇을 배울 수 있을까요?
3. 그룹 B 가 이겼다면 무엇을 배울 수 있을까요?
- ex. 할인율을 보고 클릭률이 높아졌다면, 가격민감도가 높다고 볼 수 있다.
4. 배움을 바탕으로 후속 테스트할 만 한 다음 주제를 생각해보세요.
- ex. 사용자가 가격 민감도가 높다면 할인 순으로 정렬을 해볼까?
함께 읽어보면 좋은 문서
어떤 주제로 A/B 테스트 를 하면 좋을까?
어떤 A/B 테스트가 적절할지 고민된다면?
Updated 3 months ago