상호 배타적 설정

📘

알아두세요

상호 배타적 설정은 운영 환경 및 개발 환경에서 별도로 생성하고 관리할 수 있습니다.

개요

일반적으로 여러개의 테스트가 동시에 진행되더라도, 각 테스트는 독립적으로 분배됩니다. 예를 들어 두 개의 테스트, 테스트1과 테스트2가 동시에 진행되는 경우 (테스트1 : A, 테스트2 : A), (테스트1 : A, 테스트2 : B) 등과 같이 개별 실험의 분배가 다른 실험에 공평하게 분배되기 때문에 문제가 없습니다. (아래 이미지 속 그룹 1 참고)

하지만 UX나 시스템상 테스트1 과 테스트 2가 서로 영향을 미치거나 동시에 진행하면 안되는 경우, 혹은 특정 테스트만의 개별적인 효과를 엄밀하게 측정하고 싶은 경우에는 트래픽을 테스트별로 배타적으로 할당할 필요가 있습니다.

즉, 특정 실험(들) 간의 트래픽을 겹치지 않도록 설정해야 할 때 이 기능을 추천드립니다.

예를 들어 검색 버튼의 색상을 변경하는 테스트1과 검색 버튼의 위치를 변경하는 테스트3을 동시에 진행할 경우, 두 테스트를 동시에 실행하여 검색 버튼의 클릭률을 확인하려 하면 각 테스트의 개별적인 효과를 측정하는 데에 어려움이 있습니다.

이런 경우 상호 배타적 그룹에 A/B 테스트를 추가하여 각 테스트의 영향도를 정확하게 측정할 수 있습니다.

상호 배타적 설정하기

대시보드의 A/B 테스트 메뉴 좌측 탭에 위치한 상호 배타적 설정 에서 + 상호 배타적 설정하기버튼을 클릭하여 새로운 상호 배타적 설정을 할 수 있습니다.

Step1. 상호 배타적 설정하기

• 업데이트하기
  상호 배타적 설정은 SDK 버전이 최소 2.0.0 이상인 경우에만 사용 가능합니다. 만약 하위 버전의 SDK를 사용하고 있다면 반드시 업데이트해야 합니다. 해당 버튼을 누르면 업데이트 방법을 안내하는 페이지로 이동합니다.

• 상호 배타적 설정 이름: 필수 항목이며 기본으로 이름 값이 주어집니다. 생성하려는 상호배타 그룹의 이름을 입력합니다.

• 상호 배타적 설정 설명: 선택 항목으로, 설명이 있다면 다른 팀원이 해당 상호 배타적 설정에 대해 이해하는데 도움이 됩니다.
  
  

• 상호 배타적 설정 대상 : 전체 유저를 의미합니다.

Step2. 상호 배타적 그룹 추가하기

상호 배타적 그룹 추가하기 버튼을 클릭하여 최대 10개의 독립적인 상호 배타적 그룹을 생성할 수 있습니다.

Step3. 상호 배타적 그룹 설정

1. 그룹 이름: 필수 항목으로, 상호배타 그룹의 이름을 입력합니다.
2. 그룹 트래픽 설정: 트래픽이란 A/B 테스트에 전체 사용자 중 원하는 비율만큼의 사용자만 A/B 테스트에 노출되도록 설정하는 기능입니다. 할당 가능한 트래픽 내에서 트래픽을 설정할 수 있습니다. (단, 상호배타 그룹의 최소 트래픽은 10% 입니다.)
3. A/B 테스트 추가: 상호 배타적으로 진행할 A/B 테스트를 추가할 수 있습니다. 단, 동일한 그룹에 추가된 테스트는 상호 배타적이지 않습니다.
   
   

A/B 테스트 추가하기

상호 배타적 그룹 내에 기존에 생성한 준비 상태의 A/B 테스트를 추가할 수 있습니다.

A/B 테스트 제외하기

휴지통 아이콘을 클릭하여 추가한 A/B 테스트를 언제든 제외할 수 있습니다.

단, 진행중인 A/B 테스트를 상호 배타적 그룹에서 제외할 경우 해당 테스트가 전체 사용자에게 노출됩니다.
진행중인 실험인 경우에는 설정했던 트래픽 외의 사용자가 노출되기 때문에 실험 결과에 영향을 끼치게 됩니다.

여러개의 상호 배타적 그룹을 추가한 모습입니다.
사진 속 세개의 그룹은 서로 상호 배타적이며, 하나의 그룹으로 할당된 사용자들은 다른 테스트에 더 이상 노출되지 않습니다. (예. 디자인팀의 [검색창 UI 변경 테스트]에 노출된 사용자는 마케팅팀의 [신규 가입 노출 시점 테스트]에 노출되지 않습니다.)

• [설정하기]를 클릭하여 그룹 설정을 수정할 수 있습니다.
• [설정하기] 우측에 위치한 [X] 아이콘을 클릭하여 그룹을 삭제할 수 있습니다. (단, A/B 테스트가 추가된 그룹은 삭제할 수 없습니다.)

A/B 테스트 상세화면

A/B 테스트 상세화면 상단 영역에서 해당 테스트의 상호 배타적 설정 정보 확인이 가능합니다.
설정 이름을 클릭하여 테스트가 추가된 상호 배타적 그룹의 상세 내용을 살펴볼 수 있습니다.

A/B 테스트 종료

A/B 테스트 종료시 설정한 Winner 그룹은 상호 배타적 설정에서 설정한 일부 사용자에게만 노출됩니다.
해당 상호 배타적 그룹에서 A/B 테스트를 제외하여 변경사항을 전체 사용자를 대상으로 노출할 수 있습니다.

테스트 종료 후, 상단 상호 배타적 설정 이름을 클릭하여 상세 화면으로 바로 이동할 수 있습니다.
전체 사용자에게 A/B 테스트 결과를 노출하기 위해서는 해당 테스트가 상호 배타적 그룹에서 제외되어야 합니다.

[참고]

• 이미 시작한 실험 (진행 중, 일시 정지 등의 상태)은 상호 배타 설정이 되지 않습니다. 버전 업을 하거나, 준비 중인 상태의 실험을 상호 배타 설정할 수 있습니다.
  • 실험 유형 (MAB, AB, URL) 이 달라도 상호 배타 설정할 수 있습니다.
• 상호 배타 그룹 대상 은 특정 실험 노출 대상인지에 대한 내용입니다.
  • 예시 :상호 배타적 그룹 대상 O 은 1번 실험용 그룹에 포함된 유저가 1번 실험을 호출한 경우에 해당합니다.
    상호 배타적 그룹 대상 X 은 2번 실험용 그룹에 포함된 유저가 1번 실험을 호출한 경우에 해당합니다.

📘

종료 후 A/B 테스트를 전체 사용자에게 노출하려면 상호 배타적 그룹에서 제외하세요

해당 상호 배타적 그룹에서 A/B 테스트를 제외하여 변경사항을 전체 사용자를 대상으로 적용할 수 있습니다.