A/B 테스트에는 측정하고 싶은 지표를 모두 등록할 수 있습니다.

지표에 대하여

지표(metric)는 A/B 테스트의 성과를 측정하기 위한 수단으로, 실험군(그룹 B,C,D,...)이 대조군(그룹 A)보다 우수한 결과를 얻을 수 있는지 알아보기 위한 측정 기준입니다.

예를 들어, 주문서 페이지의 UX를 개선한다고 가정합니다. 주문서 페이지를 개선하려는 목적은 기존 대비 더 많은 사용자들이 주문서 페이지에서 결제하기 버튼을 클릭하고 주문을 완료하는 비율을 높이기 위함입니다.

이 경우, A/B 테스트의 지표는 어떻게 설정해야 할까요?

더 많은 사용자가 주문서 페이지에서 결제하기 버튼을 클릭해야 하므로 '결제하기 버튼 클릭율' (= A/B 테스트에 참여한 사용자 중 결제하기 버튼을 클릭한 사용자 수) 을 지표로 설정할 수 있습니다. 그리고 얼마나 많은 사용자가 주문을 완료했는지 확인하기 위해 '구매 전환율' (= A/B 테스트에 참여한 사용자 중 주문을 완료한 사용자 수) 을 지표로 설정할 수 있습니다.

📘

A/B 테스트가 진행중일 때, 지표를 추가할 수 있습니다.

A/B 테스트를 시작하기 전에 등록하지 못한 지표가 있어도 확인할 수 있습니다.

지표 선택

A/B 테스트 상세 페이지에 있는 데이터 분석 탭 우측 상단에 위치한 지표 설정하기 버튼을 클릭합니다.

지표 설정하기 버튼을 누른 경우 아래 이미지와 같은 다이얼로그가 나타납니다.

다이얼로그의 좌측영역에서 이전에 생성해 두었던 지표를 선택하거나, '지표 직접 만들기' 를 클릭하여 새로운 지표를 생성할 수 있습니다. 선택된 지표는 다이얼로그의 우측영역에 표기됩니다.

참고로, 여러 개의 지표를 동시에 선택하여 추가할 수 있습니다.

지표마다 표기되어 있는 추가정보는 다음과 같습니다.

• 지표 계산에 사용되는 이벤트의 Key 값 (예: purchase, view_item)
• 지표의 유형 (예: 이벤트 지표, 시간 지표)

'샘플' 라벨이 붙어있는 지표는 이해를 돕기 위해 예시로 제공되는 지표입니다.

추가된 지표는 목적에 따라 여러 유형으로 나누어 사용하실 수 있습니다. 유형 변경은 지표 이름 앞에 위치한 아이콘으로 순서를 변경하실 수 있습니다.

1. 성공 지표: A/B 테스트의 성공 여부를 판단하기 위한 핵심 지표입니다.
2. 가드레일 지표: 모든 A/B 테스트에서 서비스 전체에 부정적 영향이 없는지 항상 관찰해야하는 지표입니다.
3. 그 외: 위 2가지 지표 유형에 해당되지 않지만, A/B 테스트를 통해 인과관계를 확인하고 싶은 지표입니다.

모두 선택했다면 저장하기 버튼을 눌러 설정을 완료합니다.
지표 설정이 완료된 후에는 A/B 테스트 상세 페이지에 있는 지표 탭에서 설정한 지표들을 볼 수 있습니다.

지표 직접 만들기

지표 직접 만들기 버튼을 클릭하면 아래와 같은 다이얼로그가 나타납니다.

지표는 이벤트 지표 와 시간 지표 로 구분됩니다. 이벤트 지표는 구매전환율, 평균 클릭횟수, 평균 주문금액과 같은 사용자의 행동 여부 혹은 빈도를 측정하기 위함이며, 시간 지표는 체류시간, 주문서 → 주문완료에 소요된 시간과 같이 특정한 시간을 측정할때 사용할 수 있습니다.

각각의 설정방법은 아래에 순서대로 기술되어 있습니다.

이벤트 지표 만들기

이벤트 지표 를 클릭하면 아래 화면이 보여집니다.

지표의 이름, 측정하는 방법을 정의하기 위한 지표 설정, 그리고 하단의 추가 설정 항목을 확인할 수 있습니다. 특히, 지표 설정 영역에서는 지표의 분모와 분자를 각각 설정할 수 있는 것을 확인할 수 있습니다.

Step 1. 지표 이름, 설명 입력

해당 지표의 이름, 설명을 입력합니다. 지표의 설명을 입력해두면 다른 팀원이 어떤 지표인지 이해하는데 도움이 됩니다.

Step 2. 데이터 설정

어떤 조건의 사용자를 대상으로 어떤 데이터를 분석할지 설정합니다.
'어떤 조건의 사용자를 대상'을 설정하는 것을 분모 설정, '어떤 데이터를 분석'할지 설정하는 것을 분자 설정이라고 할 수 있습니다.

1. 지표의 분자 설정
   설정을 위해 이벤트가 필요합니다.
   이벤트는 기존에 생성된 것을 선택할 수도 있고 새로 만들 수도 있습니다.
   이벤트 새로 만들기에 대한 도움이 필요한 경우 이벤트 생성하기 문서를 참고하시기 바랍니다.

2. 지표의 분모 설정
   2가지 항목을 선택할 수 있습니다.

• 전체 노출 기준 : A/B 테스트에 노출된 전체 사용자를 의미. 특정 페이지 진입 시점에 A/B테스트 노출이 된다면, 분모는 해당 페이지 진입 이벤트를 설정하는게 아니라 전체 노출 기준으로 설정하시면 됩니다.
• 특정 이벤트 기준 : A/B 테스트에 노출된 사용자들 중에 A/B테스트 노출 이후에 추가적으로 선택한 이벤트를 발생시킨 사용자를 의미합니다. 예를 들어 이벤트를 'login'으로 입력시, 전체 테스트 대상자 중에 'login' 이벤트를 발생시킨 사용자만 분모로 확인하겠다는 의미입니다. 단, 특정 이벤트 기준으로 설정하기 위해서는 프로 플랜 이상의 유료 요금제를 이용 중이어야 합니다.

📘

왜 이벤트가 필요한가요?

예를 들어 어떤 회사가 구매하기 버튼의 색상 변경을 검토하고 있습니다. 변경안이 효과가 있을지 확인하기 위해 A/B 테스트를 생성하고, 지표는 '구매하기 버튼 클릭수' 및 '구매 전환율' 두 가지를 설정했습니다.

• '구매하기 버튼 클릭수'를 계산하기 위해서는 사용자가 구매하기 버튼을 클릭한 횟수를 수집해야 합니다. 따라서 '구매하기 버튼 클릭' 이라는 이벤트를 생성하고 그 이벤트가 발생한 횟수를 집계합니다.
• '구매 전환율'을 계산하기 위해 사용자의 구매 완료가 얼마나 많이 발생했는지 알아낼 필요가 있습니다. 따라서 '구매 완료' 이벤트를 생성하고 해당 이벤트의 발생 건수를 수집합니다.

이처럼 지표 개선 여부를 알아내기 위해 지표와 연관된 이벤트가 얼마나 발생했는지 알아내는 게 중요합니다.

📘

이벤트를 입력하면 실제 코드와 어떻게 연동되나요?

1. SDK 연동을 통해 자동 수집된 이벤트를 선택한 경우
   해당 경우에는 이미 코드 상에 존재하는 이벤트를 선택한 것이기 때문에, 자동으로 데이터 계산이 가능합니다.

2. 직접 입력한 이벤트를 선택한 경우
   이 경우에는 코드 상에 없는 이벤트를 선택한 것이기 때문에, 코드 상에서 해당 이벤트를 원하는 위치에 심어주신 후 테스트를 시작해야 원활한 데이터 계산이 가능합니다.

Step 2-1. 전체 노출 기준

A/B 테스트에 노출된 모든 사용자를 지표의 분모로 설정하였으며, 분모의 계산 유형과 분자 설정을 진행합니다.
분자 설정을 위해서, 측정 이벤트와 계산 유형 그리고 필터를 선택할 수 있습니다.
A/B 테스트에 노출된 사용자 대비 선택한 이벤트의 계산 유형 및 필터 조건을 고려하여 결과값을 제공합니다.

필터는 사용자 혹은 이벤트의 속성 정보를 활용하여, 더 상세한 지표 설정을 할 수 있도록 돕습니다.

예를 들어, 패션과 같은 특정 카테고리 페이지에서 진행하는 A/B 테스트에서는 '패션 상품의 구매전환율'을 측정하려는 니즈가 있을 수 있고, 이런 상황에서 필터를 이용하여 원하는 지표를 설정할 수 있습니다.

필터의 첫 번째 칸에는 원하는 사용자 혹은 이벤트의 속성을, 두 번째 칸에는 선택한 속성에서 원하는 값을 복수 선택합니다.
And 조건을 활용해 필터는 최대 5개의 조건까지 설정할 수 있습니다.

속성에 대한 이해가 필요한 경우 속성 문서를 참고하시기 바랍니다.

🚧

필터를 선택하여 지표를 생성하는 경우, 데이터 세부 분석 기능을 사용할 수 없습니다.

해당 기능은 지원 예정입니다.

전체 노출 기준을 분모로 선택시, 5가지의 유형의 지표를 설정할 수 있습니다.

Step 2-2. 특정 이벤트 기준

🚧

요금제를 확인해주세요

특정 이벤트 기준으로 설정을 하기 위해서는 프로 플랜 이상의 유료 요금제를 사용해야 합니다.

📘

사용자가 분모의 이벤트를 발생시킨 이후에 분자의 이벤트를 발생시킨 것만 계산에 포함됩니다.

'특정 이벤트 기준'을 선택시, 사용자가 A/B 테스트에 노출이 된 이후에 분모의 이벤트를 발생시키고, 그 이후에 분자의 이벤트를 발생시킨 경우만 지표 계산에 반영됩니다.

특정 이벤트 기준을 선택할 경우 지표의 분모 및 분자 설정을 모두 진행해야 합니다. 필요시 필터 설정도 가능합니다. 이 경우, 지표의 분모에 해당하는 이벤트를 선택할 수 있으며 A/B 테스트에 노출된 대상자 중 테스트 노출 이후 특정 이벤트를 발생시킨 유저 혹은 이벤트 발생횟수를 분모로 설정하게 됩니다.

분자 설정의 경우, 분모에서 전체 노출 기준을 선택할 때와 동일하게 이벤트와 계산 유형을 모두 선택합니다. 다만 분모 설정의 경우, 분자 설정에서 어떤 계산 유형을 선택했는지에 따라 이벤트 및 계산 유형 선택 가능 여부가 달라집니다.

그리고 사용자가 실험에 노출된 이후에 분모에서 선택한 이벤트를 발생시키고, 그 이후에 분자의 이벤트를 발생시킨 경우만을 지표 계산에 포함합니다.

특정 이벤트 기준을 선택시 설정 가능한 지표의 유형은 다음과 같습니다.

Step 3. 성공 기준

성공 기준은 지표의 특성을 구분하기 위해 선택합니다. 예를 들면, 구매 금액인 경우 높아질수록 좋고, 반품 횟수인 경우 낮아질수록 좋은 지표입니다.

• 기존 (그룹 A) 대비 증가 시: 지표가 높아질수록 좋은 경우
  ** 예시 지표: 구매 전환율, 검색횟수, 가입자 수 등

• 기존 (그룹 A) 대비 감소 시: 지표가 낮아질수록 좋은 경우
  ** 예시 지표: 결제취소 횟수, 페이지 로딩 시간 등

Step 4. 만들기

우측 하단에 위치한 만들기 버튼을 클릭하면 지표 직접 만들기가 완료됩니다.
만들어진 지표는 기존 유형으로 리스트에 나타나며, 자동으로 선택된 상태임을 알 수 있습니다.

시간 지표 만들기

데이터 설정

시간을 측정하고자 하는 구간에 대한 정의가 필요하며, 이를 분자, 분모영역에서 설정하게 됩니다.

1. 지표의 분자 설정
   시간을 측정하고자 하는 구간의 시작점을 '시작 이벤트', 구간의 종료지점을 '종료 이벤트'에 설정합니다.

• 예: 회원가입 과정에 소요된 시간을 측정합니다. 시작 이벤트는 '회원가입 정보를 입력하는 페이지 진입', 종료 이벤트는 '회원가입 완료'가 될 수 있습니다.

시작, 종료이벤트 아래에 '계산 조건'을 설정할 수 있는 영역이 있습니다. 계산 조건에 설정된 시간 내에 시작 이벤트 → 종료 이벤트에 도달한 경우만 계산에 반영됩니다.

• 예: 앱 오픈 → 주문완료에 소요된 시간을 측정합니다. 이 때, 앱 오픈부터 1시간 이내에 주문완료가 되지 않은 경우는 계산에서 제외할 수 있습니다.

2. 지표의 분모 설정
   시간 지표의 계산 유형을 설정합니다. '사용자 수' 혹은 '전환 횟수' 를 선택할 수 있으며, 각 항목을 선택시 아래와 같은 지표를 측정할 수 있습니다.

• 사용자 수: 사용자당 평균 체류시간 (예: 서비스 체류시간)
• 전환 횟수: 전환 (시작 이벤트 → 종료 이벤트 도달) 에 걸린 평균 소요시간 (예: 주문서 진입 → 주문완료까지 걸린 시간)

지표의 이름, 추가 설정 영역 방법은 이벤트 지표와 동일합니다.

지표 삭제

A/B 테스트에서 확인할 필요가 없는 지표는 삭제할 수 있습니다.

지표 설정하기 버튼을 클릭합니다. 다이얼로그 우측에서 현재 선택한 지표를 볼 수 있습니다.

각 지표의 우측에 있는 X 모양 아이콘을 눌러 해당 지표를 삭제할 수 있습니다. 삭제 완료 후 저장하기 버튼을 누르면 반영됩니다.