카카오 메시지 A/B 테스트

👍

가장 효과가 좋은 카카오 메시지 캠페인 소재를 찾고 싶으시다면, A/B 테스트를 활용해보세요.

같은 조건 내에서 더 높은 사용자 참여를 이끌어내는지 비교하고 분석하여 캠페인을 최적화할 수 있습니다.

📘

A/B 테스트 설정은 운영 환경에서만 가능합니다.

메시지 작성, 지표 설정, 트래픽 설정은 운영 환경에서 설정할 수 있습니다. 개발 환경에서 테스트를 원하신다면, 운영 환경에서 테스트 관련 설정을 마무리한 후 개발 환경으로 이동하여 발송 테스트를 진행할 수 있습니다.

Step 1. A/B 테스트 메시지 작성하기

메시지 작성에서 [+ A/B 테스트] 를 눌러서 실험을 준비하고 여러 메세지를 만들 수 있습니다.

새로운 메시지를 작성하거나, 현재 작성 중인 메시지를 복사하여 여러개의 메시지를 작성하고 A/B 테스트를 진행할 수 있습니다.

메시지는 최대 10개까지 추가할 수 있습니다. (대조군 테스트 진행 시, 대조군 포함 최대 10개)

지표 설정

A/B 테스트를 진행할 메시지 설정을 완료했다면, 아래 [지표 설정] 영역에서 캠페인의 주요 목표에 부합하는 지표를 반드시 한 개 이상 설정해야 합니다. (최소 1개 ~ 최대 5개)

지표는 테스트 그룹 중 어떤 메시지가 더 우수한 성과를 보였는지 객관적으로 판단하는 기준값입니다. 우측 하단의 [+지표 생성하기] 버튼을 눌러 필요한 지표를 직접 만들어 추가해보세요. (CRM 캠페인 A/B 테스트에서는 이벤트 지표만 추가 가능)

지표 삭제 및 복사 등은 좌측 사이드바의 [지표 관리] 에서 진행할 수 있습니다.

Step 2. A/B 테스트 설정

A/B 테스트 세부 설정은 발송 설정 단계에서 이어서 진행할 수 있습니다.

• 카카오 메시지 발송에 대한 자세한 내용은 👉 여기서 확인하세요

트래픽 설정

A/B 테스트 메시지를 발송할 사용자의 트래픽 비중을 설정합니다.

• 일부 트래픽을 대상으로 초기 테스트를 진행하고, 성과가 좋은 메시지를 나머지 사용자에게 발송하여 캠페인 결과를 최적화할 수 있습니다.

• 전체 트래픽을 대상으로 테스트를 진행하고, 소재에 대한 선호도를 확인할 수 있습니다.

Step 3. A/B 테스트 시작

카카오 메시지 발송 시작 시 A/B 테스트가 시작됩니다. 테스트 시작 후 초기 데이터가 집계되어 대시보드에 반영되기까지 일정 시간이 소요됩니다.

❗️

캠페인 비활성화시 진행 중인 A/B 테스트가 종료됩니다.

캠페인 비활성화 후 메시지 내용을 수정할 수 있습니다. 메시지를 다시 발송할 경우, 새로운 버전의 A/B 테스트가 시작됩니다.

이전 버전에 대한 결과는 별도 저장되며, 버전별로 데이터를 확인할 수 있습니다.

Step 4. A/B 테스트 종료

A/B 테스트와 카카오 메시지 캠페인의 상태는 각각 따로 설정 가능합니다.

• 성과 확인 후, 가장 우수한 메시지만 발송하고 싶다면 [테스트 종료]를 눌러 우수한 메시지 (Winner) 를 선택할 수 있습니다.

1. 테스트 종료
   직접 테스트 종료 버튼을 클릭하여 진행 중인 A/B 테스트를 종료할 수 있습니다.
2. 메시지 발송하기
   일부 트래픽을 대상으로 A/B 테스트를 진행한 경우, 나머지 사용자에게 우수한 결과의 메시지를 발송할 수 있습니다.
   • 스케줄 기반 (즉시 발송, 예약 발송) : 설정한 트래픽의 사용자에게 발송된 후 남은 트래픽에 메시지가 발송됩니다.
   • 이벤트 기반, API 기반 : 모든 사용자에게 Winner 그룹의 메시지가 발송됩니다.

화면 우측 최상단의 [종료하기] 버튼을 누르면 푸시 메시지 캠페인을 종료할 수 있습니다.