푸시 메시지 A/B 테스트

👍

가장 효과가 좋은 푸시 메시지 캠페인 소재를 찾고 싶으시다면, A/B 테스트를 활용해보세요.

같은 조건 내에서 더 높은 사용자 참여를 이끌어내는지 비교하고 분석하여 캠페인을 최적화할 수 있습니다.

Step 1. A/B 테스트 메시지 작성하기

메시지 작성에서 [+ A/B 테스트] 를 눌러서 실험을 준비하고 여러 메세지를 만들 수 있습니다.

새로운 메시지를 작성하거나, 현재 작성 중인 메시지를 복사하여 여러개의 메시지를 작성하고 A/B 테스트를 진행할 수 있습니다. 메시지는 최대 10개까지 추가할 수 있습니다.

성공 지표

A/B 테스트는 '성공 지표' 를 기준으로 각 메세지의 성과가 측정됩니다. 푸시 메시지 A/B 테스트에서는 메시지 클릭률을 기본으로 지원하고 있습니다.

• 메시지 클릭률 : 발송 완료한 푸시 메시지 수 대비 메시지를 클릭한 비율
• 직접 선택 : 이벤트 지표 (ex. 사용자별 클릭 전환율, 구매 전환율, 평균 주문 금액 등)

Step 2. A/B 테스트 설정

푸시 메시지 발송 시작시 A/B 테스트가 시작됩니다. A/B 테스트 세부 설정은 발송 설정에서 이어서 진행할 수 있습니다.

• 푸시 메시지 발송 설정에 대한 자세한 내용은 👉 여기서 확인하세요

2-1. 트래픽 설정

A/B 테스트 메시지를 발송할 사용자의 트래픽 비중을 설정합니다.

1. 일부 트래픽을 대상으로 초기 테스트를 진행하고, 성과가 좋은 메시지를 나머지 사용자에게 발송하여 캠페인 결과를 최적화할 수 있습니다.
2. 전체 트래픽을 대상으로 테스트를 진행하고, 소재에 대한 선호도를 확인할 수 있습니다.

2-2. 테스트 일정

• 시작 : 푸시 메시지 발송시 A/B 테스트가 시작됩니다.
• 종료 : 푸시 메시지 종료시 A/B 테스트가 함께 종료됩니다.
  • 직접 종료 : 메시지 발송 결과 확인 후 직접 테스트를 종료할 수 있습니다.
  • 종료 예약 : 테스트 종료일을 미리 예약할 수 있습니다.

테스트 종료 예약시, 종료 이후 잔여 트래픽 사용자에게 우수한 결과의 메시지 (Winner 그룹) 발송 여부를 설정할 수 있습니다.

• Winner 그룹 선정 기준
  • 성공 지표가 우수한 그룹의 메시지가 Winner 그룹으로 설정되며 테스트가 종료됩니다.
  • 나머지 사용자에게 메시지가 발송되도록 설정한 경우, Winner 그룹의 메시지가 잔여 트래픽 사용자에게 발송됩니다.
  • 반복 발송되는 메시지의 경우, 모든 사용자에게 Winner 그룹의 메시지가 발송됩니다.

Step 3. A/B 테스트 시작

푸시 메시지 발송시 A/B 테스트가 시작됩니다. 테스트 결과는 메시지 발송 시작 후 최대 2시간 내 확인할 수 있습니다.

❗️

캠페인 비활성화시 진행 중인 A/B 테스트가 종료됩니다.

캠페인 비활성화 후 푸시 메시지 내용을 수정할 수 있습니다. 메시지를 다시 발송할 경우, 새로운 버전의 A/B 테스트가 시작됩니다.

이전 버전에 대한 결과는 별도 저장되며, 버전별로 데이터를 확인할 수 있습니다.

Step 4. A/B 테스트 종료

A/B 테스트와 푸시 메시지 캠페인의 상태는 각각 따로 설정 가능합니다.

• 성과 확인 후, 가장 우수한 메시지만 발송하고 싶다면 [테스트 종료]를 눌러 우수한 메시지 (Winner) 를 선택할 수 있습니다.
• 반복 발송 중인 메시지인 경우 A/B 테스트를 종료해도 캠페인이 활성화 상태인 경우, 메시지가 발송됩니다.

1. 테스트 종료
   직접 테스트 종료 버튼을 클릭하여 진행 중인 A/B 테스트를 종료할 수 있습니다.
2. 메시지 발송하기
   일부 트래픽을 대상으로 A/B 테스트를 진행한 경우, 나머지 사용자에게 우수한 결과의 메시지를 발송할 수 있습니다.
   • 스케줄 기반 (즉시 발송, 예약 발송) : 설정한 트래픽의 사용자에게 발송된 후 남은 트래픽에 메시지가 발송됩니다.
   • 스케줄 기반 (반복 발송), 이벤트 기반, API 기반 : 모든 사용자에게 Winner 그룹의 메시지가 발송됩니다.

화면 우측 상단의 [종료하기] 버튼을 누르면 푸시 메시지 캠페인을 종료할 수 있습니다.