개요

A/B 테스트 상세에 들어갔을 때 보이는 화면 중 상단 공통 영역에 대한 문서입니다.
공통 영역을 구성하는 내용은 A/B 테스트 상태에 따라 차이가 있습니다. 진행 중 상태를 예시로 들어 일반적인 구성 내용을 먼저 설명한 후 상태 별 차이점을 설명합니다.

구성 항목

운영 환경

1. 실험 키 정보와 A/B 테스트의 이름, 설명(입력한 경우)을 확인할 수 있습니다.
2. A/B 테스트에 관한 몇 가지 기능을 제공합니다. 아래 부가 기능 항목에서 더 자세히 설명합니다.
3. A/B 테스트의 진행 상태를 알 수 있습니다. 상태를 변경한 날짜 및 시간을 함께 확인할 수 있습니다.
4. A/B 테스트의 타겟 설정 상태를 알 수 있습니다. 준비 단계인 경우 새로 설정하거나 기존의 설정을 수정할 수 있습니다.
5. A/B 테스트의 트래픽 할당 값을 설정하거나 현재 설정한 값을 볼 수 있습니다. 트래픽 할당 값 설정은 A/B 테스트 진행 중 상태일 때에만 가능합니다.
6. A/B 테스트의 전체 노출 사용자 수를 확인할 수 있습니다. 진행 중 상태가 되면 나타납니다.

부가 기능

A/B 테스트 이름 우측에 있는 ... 버튼을 누르면 최대 4개의 메뉴를 확인할 수 있습니다.

1. A/B 테스트 이름 수정하기: A/B 테스트의 이름 혹은 설명을 수정할 수 있습니다.
2. A/B 테스트 복사하기: 해당 A/B 테스트의 사본을 생성합니다.
3. 데이터 추출하기: 유료 요금제(프로 플랜 이상)를 사용하는 경우에만 이용할 수 있는 기능으로, A/B 테스트에 대한 테스트 그룹 분배 데이터 및 이벤트 데이터를 얻을 수 있습니다.
4. A/B 테스트 보관하기: A/B 테스트를 보관 상태로 변경합니다. 이 메뉴는 A/B 테스트가 종료 상태이고 운영 환경인 경우에만 나타납니다.

개발 환경

개발 환경에서도 A/B 테스트 상태와 상관없이 실험 키 정보와 A/B 테스트의 이름, 설명(입력한 경우)은 확인 가능합니다. 오른쪽 ... 버튼을 누르면 부가 기능을 확인할 수 있으며, 타겟팅 조건 및 트래픽 할당 수준을 설정할 수 있습니다.

🚧

개발환경과 운영환경의 타겟팅 조건은 개별적으로 동작합니다.

운영환경에서 설정한 타겟팅 조건은 운영환경에만 적용됩니다. 운영환경에서 테스트를 시작한 이후에는 개발환경에서 타겟팅 조건을 변경할 수 없습니다.

트래픽 할당 또한 운영/개발환경에서 설정한 값은 각각의 환경에만 적용됩니다.

상태 별 차이점

공통 영역을 구성하는 항목은 A/B 테스트 상태에 따라 다소 차이가 있습니다.
여기서는 상태에 따른 항목 차이를 설명합니다.

1. 준비

준비 상태에서 공통적인 사항은 다음과 같습니다.

• 트래픽 할당을 설정할 수 없습니다.
• 총 노출 사용자 수가 나타나지 않습니다.

SDK 연동 전이고 목표 설정하지 않음

• 준비 상태이고 SDK를 연동하지 않은 상태에서는 SDK 연동 안내 문구가 나타납니다. 해당 문구는 SDK 연동 이후 핵클에서 확인한 이후에 사라집니다.
• 준비 상태이고 목표를 설정하지 않은 상태에서는 목표 설정 안내 문구가 나타납니다. 해당 문구는 목표 설정 후 사라집니다.
• 상태를 변경할 수 있는 버튼이 나타나지 않습니다.

SDK 연동했으나 목표 설정하지 않음

• 준비 상태이고 목표를 설정하지 않은 상태에서는 목표 설정 안내 문구가 나타납니다. 해당 문구는 목표 설정 후 사라집니다.
• 준비 상태이고 SDK를 연동한 상태에서는 SDK 기능 적용 안내 문구가 나타납니다. 해당 문구는 A/B 테스트를 시작하면 사라집니다.
• 상태를 변경할 수 있는 버튼이 나타나지 않습니다.

SDK 연동 및 목표 설정 후

• 준비 상태이고 SDK를 연동한 상태에서는 SDK 기능 적용 안내 문구가 나타납니다. 해당 문구는 A/B 테스트를 시작하면 사라집니다.
• A/B 테스트를 시작할 수 있는 시작하기 버튼이 나타납니다.

2. 진행 중

• A/B 테스트를 일시정지 하거나 종료할 수 있는 버튼이 나타납니다.
• 트래픽 할당하기 버튼이 나타납니다. 해당 버튼을 통해 트래픽 할당 값을 변경할 수 있습니다.
• 총 노출 사용자 수를 확인할 수 있습니다.

3. 종료

• A/B 테스트를 보관할 수 있는 버튼이 나타납니다.
• 트래픽 할당 영역이 사라지고, 종료 시 선택한 Winner 그룹을 확인할 수 있습니다.
• 총 노출 사용자 수를 확인할 수 있습니다.

4. 보관

• 상태를 변경할 수 있는 버튼이 나타나지 않습니다.
• 트래픽 할당 영역이 사라지고, 종료 시 선택한 Winner 그룹을 확인할 수 있습니다.
• 총 노출 사용자 수를 확인할 수 있습니다.

더 자세한 내용

목표를 설정하는 방법은 다음 문서를 참고하시기 바랍니다.

• 목표 설정하기 →

A/B 테스트 타겟팅에 대해서는 다음 문서를 참고하시기 바랍니다.

• 타겟 설정하기 →

A/B 테스트의 트래픽 할당을 설정하고 변경하는 방법은 다음 문서를 참고하시기 바랍니다.

• 트래픽 할당하기 →

A/B 테스트의 상태 흐름과 상태 변경하는 방법에 대해서는 다음 문서를 참고하시기 바랍니다.

• A/B 테스트의 상태 →