테스트 그룹 분배 과정
개요
이 문서에서는 사용자가 A/B 테스트의 그룹에 분배되는 과정을 설명합니다.
흐름도
과정 상세
A/B 테스트 그룹 분배 과정은 다음과 같습니다.
1. A/B 테스트가 존재하는지 확인합니다.
- A/B 테스트가 존재하지 않을 경우 기본 그룹인 테스트 그룹 A로 결정됩니다.
2. 테스트기기로 등록된 사용자인지 확인합니다
- 테스트기기로 등록되어 있는 사용자인경우 설정된 테스트 그룹으로 결정됩니다.
3. 분배를 위한 사용자 식별자가 존재하는지 확인합니다
- 사용자 식별자가 없는 경우 기본 그룹인 테스트 그룹 A로 결정됩니다.
4. 상호배타 그룹으로 인한 제외 대상인지 확인합니다.
- A/B 테스트가 상호배타 그룹에 포함되어있는 경우, 사용자가 상호배타 그룹에 포함되어있는지 확인합니다.
- 사용자가 상호배타 그룹에 포함되어있지 않으면 기본 그룹인 테스트 그룹 A로 결정됩니다.
5. 사용자가 A/B 테스트 대상(타겟팅) 인지 확인합니다.
- A/B 테스트 대상이 아닌 경우 기본 그룹인 테스트 그룹 A로 결정됩니다.
6. A/B 테스트 상태가 준비 혹은 일시정지 상태인지 확인합니다.
- A/B 테스트 상태가 준비 혹은 일시정지 상태인 경우 기본 그룹인 테스트 그룹 A로 결정됩니다.
7. A/B 테스트가 완료 되었는지 확인합니다.
- A/B 테스트가 완료된 경우, 테스트 종료 시 선택했던 승리(Winner) 테스트 그룹으로 결정됩니다.
8. 버켓팅을 통해 트래픽에 할당 되었는지 확인합니다.
- 할당되지 않은 유저인 경우 기본 그룹인 테스트 그룹 A로 결정됩니다.
- 버켓팅의 의미는 테스트 그룹 분배 원리 문서를 참고 바랍니다.
9. 할당된 테스트 그룹이 테스트에서 제외(drop) 되었는지 확인합니다.
- 제외된 테스트 그룹으로 할당된 경우 기본 그룹인 테스트 그룹 A로 결정됩니다.
- 제외되지 않은 경우 해당 테스트 그룹으로 결정됩니다.
Updated about 1 year ago