진행 상태 진단
진행 상태 진단을 통해 A/B 테스트를 시작하기 위해 모든 준비가 되었는지 혹은 정상적으로 진행 중인지 확인하실 수 있습니다.
1. 사용자 식별자 전송
A/B 테스트의 분배 기준으로 선택하신 사용자 식별자 정보가 핵클에 정상적으로 전송되었는지 확인합니다.
- 빨간 알림일 경우
1-a. 사용자 식별자 문서를 참고하여 사용자 식별자 정보를 전송하세요.
1-b. 하단에 있는 버튼을 통해 실시간 노출 현황 에서 분배 기준으로 선택한 사용자 식별자가 존재하는지 확인하세요.
- 노랑 알림일 경우
2-a. 하단에 있는 버튼을 통해 실시간 노출 현황 에서 최근 1시간 안에 노출된 사용자가 있는지 확인하세요. 노출된 사용자가 없다면, 사용자가 노출된 후 다시 확인해주세요.
2-b. 노출된 사용자가 있다면, 코드상의 변경으로 인해 분배 기준으로 선택한 사용자 식별자 전송이 실패했을 수 있습니다. 사용자 식별자 문서를 참고하여 사용자 식별자를 전송하세요.
2. 이벤트 전송
A/B 테스트에 목표, 리텐션, 퍼널을 등록하는 과정에서 활용하신 이벤트들이 정상적으로 전송되고 있는지 확인합니다.
- 빨간 알림일 경우
1-a. 하단 박스의 이벤트 항목들을 핵클에 전송해주세요. 각 이벤트 항목을 클릭하면 이벤트별 실시간 현황을 확인하실 수 있습니다.
1-b. 이벤트가 전송되었음에도, 해당 이벤트가 박스에서 없어지지 않는다면 이벤트 전송시 분배 기준으로 선택하신 사용자 식별자 정보가 없을 수 있습니다. 사용자 식별자 문서를 참고하여 사용자 식별자 정보를 포함하여 이벤트를 전송하세요.
- 노란 알림일 경우
2-a. 각 이벤트 항목을 클릭하여, 최근 1시간 안에 해당 이벤트가 전송된 적 있는지 확인해주세요.
2-b. 최근 1시간 안에 이벤트가 전송되었음에도, 이벤트 항목이 노출된다면 분배 기준으로 선택하신 사용자 식별자 정보가 없을 수 있습니다. 사용자 식별자 문서를 참고하여 사용자 식별자 정보를 포함하여 이벤트를 전송하였는지 확인하세요.
3. A/B 테스트 노출
A/B 테스트에 노출되어, 테스트 그룹에 분배된 사용자가 1명이라도 있는지 확인합니다. 실제 운영 환경에서 사용자가 A/B 테스트에 참여했는지 확인할 수 있습니다. A/B 테스트 시작 후 1시간 뒤에 확인할 수 있습니다.
- 사용자 식별자 전송, 이벤트 전송 항목이 모두 정상인지 확인해주세요.
- 트래픽을 1% 이상 할당하였는지 확인하세요. 시작했음에도 불구하고 트래픽이 0%로 할당하였다면, 사용자에게 A/B 테스트가 노출되지 않습니다.
- A/B 테스트 타겟팅이 정상적으로 동작하는지 확인하세요. 타겟팅 조건에 사용된 속성 정보가 수집되어야합니다. 타겟 설정하기 문서를 참고하세요.
4. 데이터 계산
A/B 테스트에 등록하신 목표, 리텐션, 퍼널 중 계산 결과가 0으로 계산되는 항목이 있는지 확인합니다. A/B 테스트 시작 후 1시간 뒤에 확인할 수 있습니다.
Updated about 1 month ago