Step 1. MAB 테스트 정보 입력

• 이름: 필수 항목으로, 진행하려는 MAB 테스트의 이름을 입력합니다.
• 설명: 선택 항목으로, 설명이 있다면 다른 팀원이 어떤 테스트를 진행하는지 이해하는데 많은 도움이 됩니다.
• 가설: 선택 항목으로, 테스트를 통해 검증하려는 가설을 입력합니다.

Step 2. MAB 테스트 그룹 설정

본 설정은 MAB 테스트를 대상이 되는 개별 테스트 그룹에 대한 설명 및 이미지를 등록하는 것을 의미합니다. 테스트 그룹이 3개 이상인 경우 + 새 그룹 추가하기 버튼을 클릭해 추가할 수 있습니다. 우측의 X버튼으로 특정 그룹을 삭제할 수 있습니다.

Step 3. 테스트 생성 완료

테스트 그룹 설정을 완료 했다면 우측 하단의 테스트 생성하기 버튼을 클릭합니다.

Step 4. 타겟팅 설정 (Optional)

특정 속성을 가진 사용자, 특정 타겟팅 그룹에 포함된 사용자, 특정 실험 및 기능 플래그에 포함된 사용자만 MAB 테스트에 참여하길 원할 경우 타겟팅 설정을 할 수 있습니다.

Step 5-1. 지표 설정하기

테스트 상세 페이지에 있는 데이터 분석 탭 우측 상단에 위치한 지표 설정하기 버튼을 클릭합니다.

Step 5-2. 지표 설정하기

지표 설정하기 버튼을 클릭하면 아래 이미지와 같은 다이얼로그가 나타나며, 성공 지표를 등록할 수 있습니다. 추가로 '계산 조건'을 설정하도록 하는데, 이는 실험에 노출된 이후 이벤트가 일정기간 (1~24시간) 이내에 발생한 것만 지표 계산에 포함할 것인지를 설정하는 항목입니다.

📘

MAB 테스트의 성공지표는 계산유형이 '횟수' 이며, 분모가 '전체 사용자 기준' 혹은 '테스트 노출 기준'이어야 합니다.

Step 6-1. 테스트 시작하기

준비 상태인 MAB 테스트 상태에서 우측 상단에 위치한 시작하기 버튼을 클릭하여 시작할 수 있습니다.

Step 6-1. 테스트 시작하기 > 분배 조건 설정

시작하기 버튼을 클릭하면 아래의 팝업창이 노출됩니다.

해당 화면에서 '분배 조건' 항목을 설정할 수 있는데, 이는 MAB 테스트가 시작되고나서 몇 시간 후부터 트래픽 분배가 자동으로 조정되도록 할지를 의미하는 항목입니다. '분배 조건'을 설정하는 목적은 MAB 테스트 시작 이후 n시간 동안 트래픽 자동 분배를 위한 최소한의 표본을 확보하기 위함입니다. 트래픽이 적은 영역에서 MAB 테스트를 진행하는 경우, 해당 시간을 보다 큰 값으로 설정하는 것을 권장합니다.

Step 7-1. 모니터링 > MAB 분배 현황

MAB 테스트가 시작된 이후에 트래픽 분배 현황을 테스트 상세 페이지에서 시간 단위, 일 단위로 확인할 수 있습니다. '트래픽 분배' 탭에서는 그룹별 트래픽 분배 비율의 변화를 확인할 수 있고, '누적 분배 현황' 탭에서는 MAB 테스트 시작 시점부터의 그룹별 누적 실험 참여 현황을 확인할 수 있습니다.

Step 7-2. 모니터링 > 성공 지표

MAB 테스트 시작 이후, 데이터 분석 탭에서 성공 지표의 결과 값을 확인할 수 있습니다. 상단 표에 기록된 값은 가장 최근에 계산된 결과를 의미하며, 하단 그래프에서는 시간 단위, 일 단위의 지표 결과 값과 가장 우수할 확률(베이지안 확률)의 추이를 확인할 수 있습니다.