인앱 메시지 A/B 테스트

인앱 메세지의 메세지 안을 여러개 만들어서 각 메시지들을 실험해보고, 성과가 좋은 메세지를 선택 노출할 수 있습니다.

📘

인앱메시지로 A/B 테스트를 진행하려면 아래 버전 이상의 SDK를 사용해야 합니다.

SDK 버전 정보 보기

Web : javascript 11.29.0, react 11.29.0
App : Android 2.35.0, iOS 2.30.0, React Native 3.10.0, Flutter 2.8.0

Step.1 A/B 테스트 메시지 작성하기

메시지 작성에서 [+ A/B 테스트] 를 눌러서 실험을 준비하고 여러 메세지를 만들 수 있습니다.

• 메세지 안을 추가하고, 해당 메세지 안을 삭제할 수 있습니다.
  새로운 메시지를 작성하거나, 현재 작성 중인 시안을 복사하여 여러개의 메시지를 작성하고 A/B 테스트를 진행할 수 있습니다.

• 대조군 (Control Group) 을 추가할 수 있습니다.
  [대조군 추가하기]를 클릭하여 인앱 메시지를 보지 않은 사용자와 본 사용자를 대상으로 A/B 테스트를 진행할 수 있습니다.

Step 2. A/B 테스트 설정

• 실험은 '성공 지표' 를 기준으로 각 메세지의 성과가 측정되고, 메세지 노출된 이후 1/24/48 시간마다 트래픽 분배를 유지하고, 각 메세지의 성과에 따라 트래픽 분배를 조정합니다.
  • 클릭률은 인앱메세지 설정에서 입력한 링크(Link)의 클릭률만 집계합니다. ('닫기' 버튼은 클릭률 집계에 포함하지 않습니다.)
  • 트래픽 분배는 MAB 라는 방식이고, MAB 실험 소개 문서를 보시면 자세히 알 수 있습니다.

• 성공 지표

  • 메시지 클릭률 : 총 노출 대비 인앱 메시지 내 버튼 및 이미지를 클릭한 사용자의 비율

  • 직접 선택시 계산 유형이 횟수이며 분모가 테스트 노출 기준인 것만 등록할 수 있습니다.

    

Step 3. A/B 테스트 진행

• 시작하기 : 실험을 설정한 경우도 동일하게 [시작하기] 버튼을 눌러서 실험을 시작할 수 있습니다.

• 실험 진행하기
  • 실험이 진행되면, 각 그룹의 노출 횟수, 전환 횟수, 전환율, 가장 우수할 확률을 확인할 수 있습니다. ('전환' 은 클릭을 의미합니다)
  • 하단 그래프에서 각 그룹의 전환율 추이, 트래픽 분배, 누적 분배 현황 등 상세 정보를 확인할 수 있습니다.

• 실험 일시 정지 및 종료
  • 성과 확인 후, 가장 우수한 메세지만 노출하고 싶다면 [테스트 종료] 를 눌러서 우수한 메세지(Winner) 를 선택할 수 있습니다.
    • [테스트 종료] 만 하시면, 가장 우수한 메세지(예를 들어 B안) 으로만 계속 노출할 수 있습니다.
  • [일시 정지] 를 누르시면, 해당 메세지 노출이 일시 정지되고, 이때 실험도 동시에 정지됩니다.

• 종료하기
  • 실험 종료 이후 [종료] 버튼을 누르면 인앱메세지 캠페인을 종료할 수 있습니다.