개요

A/B 테스트 상세에 들어갔을 때 보이는 화면 중 상단 공통 영역에 대한 문서입니다.
공통 영역을 구성하는 내용은 A/B 테스트 상태에 따라 차이가 있습니다. 진행 중 상태를 예시로 들어 일반적인 구성 내용을 먼저 설명한 후 상태 별 차이점을 설명합니다.

구성 항목

운영 환경

실험 키 정보와 A/B 테스트의 이름, 설명(입력한 경우)을 확인할 수 있습니다.
A/B 테스트에 관한 몇 가지 기능을 제공합니다. 아래 부가 기능 항목에서 더 자세히 설명합니다.
A/B 테스트의 진행 중 데이터에 이상이 있을 경우 해당 메일로 알림을 받아볼 수 있습니다.
A/B 테스트의 진행 상태를 알 수 있습니다. 상태를 변경한 날짜 및 시간을 함께 확인할 수 있습니다.
A/B 테스트가 정상적으로 진행중인지 상태를 확인할 수 있습니다.
A/B 테스트의 타겟팅 설정 상태를 알 수 있습니다. 준비 단계인 경우 새로 설정하거나 기존의 설정을 수정할 수 있습니다.
사용자들을 A/B 테스트의 각 그룹에 분배하기 위해 사용자를 구분하는 기준, 사용자 식별자를 확인할 수 있습니다.
A/B 테스트의 트래픽 할당 값을 설정하거나 현재 설정한 값을 볼 수 있습니다. 트래픽 할당 값 설정은 A/B 테스트 진행 중 상태일 때에만 가능합니다.
A/B 테스트의 전체 노출 사용자 수를 확인할 수 있습니다. 진행 중 상태가 되면 나타납니다.

부가 기능

A/B 테스트 이름 우측에 있는 ... 버튼을 누르면 최대 4개의 메뉴를 확인할 수 있습니다.

A/B 테스트 이름 수정하기: A/B 테스트의 이름 혹은 설명을 수정할 수 있습니다.
A/B 테스트 복사하기: 해당 A/B 테스트의 사본을 생성합니다.
데이터 추출하기: 유료 요금제(프로 플랜 이상)를 사용하는 경우에만 이용할 수 있는 기능으로, A/B 테스트에 대한 테스트 그룹 분배 데이터 및 이벤트 데이터를 얻을 수 있습니다.
A/B 테스트 보관하기: A/B 테스트를 보관 상태로 변경합니다. 이 메뉴는 A/B 테스트가 종료 상태이고 운영 환경인 경우에만 나타납니다.
버전 : A/B 테스트의 버전을 추가하거나 이전 버전을 확인할 수 있습니다. 해당 기능을 통해 실험 키 정보를 유지하며, 준비 상태로 돌아가기 때문에 코드 변경을 최소화 하여 새롭게 A/B 테스트를 시작할 수 있습니다.

개발 환경

개발 환경에서도 A/B 테스트 상태와 상관없이 실험 키 정보와 A/B 테스트의 이름, 설명(입력한 경우)은 확인 가능합니다. 오른쪽 ... 버튼을 누르면 부가 기능을 확인할 수 있으며, 타겟팅 조건 및 트래픽 할당 수준을 설정할 수 있습니다.

🚧
개발환경과 운영환경의 타겟팅 조건은 개별적으로 동작합니다.
운영환경에서 설정한 타겟팅 조건은 운영환경에만 적용됩니다. 운영환경에서 테스트를 시작한 이후에는 개발환경에서 타겟팅 조건을 변경할 수 없습니다.
트래픽 할당 또한 운영/개발환경에서 설정한 값은 각각의 환경에만 적용됩니다.

상태 별 차이점

공통 영역을 구성하는 항목은 A/B 테스트 상태에 따라 다소 차이가 있습니다.
여기서는 상태에 따른 항목 차이를 설명합니다.

1. 준비

준비 상태에서 공통적인 사항은 다음과 같습니다.

트래픽 할당을 설정할 수 없습니다.
총 노출 사용자 수가 나타나지 않습니다.

SDK 연동 전이고 목표 설정하지 않음

1번 메세지 : SDK를 연동하지 않은 상태일 때 SDK 연동 안내 문구가 나타납니다. 해당 문구는 SDK 연동을 핵클에서 확인한 이후에 사라집니다.
2번 메세지 : 준비 상태이고 목표를 설정하지 않은 상태에서는 목표 설정 안내 문구가 나타납니다. 해당 문구는 목표 설정 후 사라집니다.목표를 설정하기 전까지 [시작하기] 버튼이 나타나지 않습니다.

2. 진행 중

A/B 테스트를 일시정지 하거나 종료할 수 있는 버튼이 나타납니다.
진행 상태 진단이 나타납니다. 문제가 있을 경우 진행 상태 진단 문서를 통해 해결 방법을 확인해보세요.
트래픽 할당하기 버튼이 나타납니다. 해당 버튼을 통해 트래픽 할당 값을 변경할 수 있습니다.
총 노출 사용자 수를 확인할 수 있습니다.

3. 종료

트래픽 할당 영역이 사라지고, 종료 시 선택한 Winner 그룹과 테스트 종료 사유 및 계정을 확인할 수 있습니다.
총 노출 사용자 수를 확인할 수 있습니다.

4. 보관

상태를 변경할 수 있는 버튼이 나타나지 않습니다.
트래픽 할당 영역이 사라지고, 종료 시 선택한 Winner 그룹을 확인할 수 있습니다.
총 노출 사용자 수를 확인할 수 있습니다.

더 자세한 내용

목표를 설정하는 방법은 다음 문서를 참고하시기 바랍니다.

목표 설정하기 →

A/B 테스트 타겟팅에 대해서는 다음 문서를 참고하시기 바랍니다.

타겟팅 설정하기 →

A/B 테스트의 트래픽 할당을 설정하고 변경하는 방법은 다음 문서를 참고하시기 바랍니다.

트래픽 할당하기 →

A/B 테스트의 상태 흐름과 상태 변경하는 방법에 대해서는 다음 문서를 참고하시기 바랍니다.

A/B 테스트의 상태 →