목표 설정하기

각 A/B 테스트에는 측정하고 싶은 목표를 여러 개 등록할 수 있으며, 기존에 등록했던 목표도 쉽게 다시 등록할 수 있습니다.

목표에 대하여

목표는 A/B 테스트의 성과를 측정하기 위한 수단으로, 실험군(그룹 B,C,D,...)이 대조군(그룹 A)보다 우수한 결과를 얻을 수 있는지 알아보기 위한 측정 기준(metric)입니다.

예를 들어 어떤 회사가 구매하기 버튼의 색상 변경을 검토하고 있다고 가정합니다. 변경하려는 이유는 사용자가 구매하기 버튼을 더 많이 누르게 하기 위함입니다.
이런 경우 색상 변경이 효과가 있는지, 그리고 어떤 색상이 효과적인지 알아보기 위해 구매하기 버튼의 색상에 대한 A/B 테스트를 진행할 수 있습니다. 그렇다면 목표는 어떻게 설정해야 할까요?

우선 구매하기 버튼을 더 많이 눌러야 변경이 의미가 있으므로 '구매하기 버튼 클릭수'를 목표로 설정할 수 있습니다. 아울러 구매하기 버튼을 더 많이 누르게 하는 것은 결국 구매 전환율을 높이기 위한 것이므로 '구매 전환율' 또한 목표로 설정할 수 있습니다.

🚧

이제 A/B 테스트를 시작한 이후에도 목표를 설정할 수 있습니다.

테스트를 시작하기 전에 누락한 목표가 있어도 추가할 수 있습니다.

목표 선택

우선 A/B 테스트 상세 페이지에 있는 데이터 분석 탭 우측 상단에 위치한 목표 설정하기 버튼을 클릭합니다.
목표 설정하기 버튼을 누른 경우 아래 이미지와 같은 다이얼로그가 나타납니다.

선택할 수 있는 목표는 두 가지 유형이 있습니다.

  1. 추천: 핵클에서 추천하는 목표입니다.
  2. 기존: 다른 A/B 테스트에서 설정한 목표가 리스트에 나타납니다.

추천 및 기존 목표 중 원하는 것이 없다면 목표 직접 만들기 버튼을 클릭하여 직접 생성할 수 있습니다. (직접 만드는 방법에 대해서는 이 문서에서 바로 이어서 설명합니다.)

목표는 최소 1개 선택해야 하며, 한 번에 여러 개를 선택할 수도 있습니다.

2개 이상의 목표를 선택한 경우2개 이상의 목표를 선택한 경우

2개 이상의 목표를 선택한 경우

모두 선택했다면 저장하기 버튼을 눌러 설정을 완료합니다.
목표 설정이 완료된 후에는 A/B 테스트 상세 페이지에 있는 목표 탭에서 설정한 목표들을 볼 수 있습니다.

목표 직접 만들기

목표 직접 만들기 버튼을 클릭하면 아래와 같은 다이얼로그가 나타납니다. 목표의 이름, 목표를 측정하는 방법을 정의하기 위한 목표 설정, 그리고 하단의 추가 설정 항목을 확인할 수 있습니다. 특히, 목표 설정 영역에서는 목표의 분모와 분자를 각각 설정할 수 있는 것을 확인할 수 있습니다.

목표 직접 만들기 팝업창목표 직접 만들기 팝업창

목표 직접 만들기 팝업창

Step 1. 목표 이름 입력

해당 목표의 이름을 입력합니다. 최대 50자의 길이 제한이 있습니다.

Step 2. 데이터 설정

어떤 조건의 사용자를 대상으로 어떤 데이터를 분석할지 설정합니다.
'어떤 조건의 사용자를 대상'을 설정하는 것을 분모 설정, '어떤 데이터를 분석'할지 설정하는 것을 분자 설정이라고 할 수 있습니다.

  1. 목표의 분자 설정
    설정을 위해 이벤트가 필요합니다.
    이벤트는 기존에 생성된 것을 선택할 수도 있고 새로 만들 수도 있습니다.
    이벤트 새로 만들기에 대한 도움이 필요한 경우 이벤트 생성하기 문서를 참고하시기 바랍니다.

  2. 목표의 분모 설정
    2가지 항목을 선택할 수 있습니다.

  • 전체 노출 기준 : A/B 테스트에 노출된 전체 사용자를 의미
  • 특정 이벤트 기준 : A/B 테스트에 노출된 사용자들 중에 추가적으로 선택한 이벤트를 발생시킨 사용자를 의미합니다. 예를 들어 이벤트를 'login'으로 입력시, 전체 테스트 대상자 중에 'login' 이벤트를 발생시킨 사용자만 분모로 확인하겠다는 의미입니다. 단, 특정 이벤트 기준으로 설정하기 위해서는 프로 플랜 이상의 유료 요금제를 이용 중이어야 합니다.

📘

왜 이벤트가 필요한가요?

예를 들어 어떤 회사가 구매하기 버튼의 색상 변경을 검토하고 있습니다. 변경안이 효과가 있을지 확인하기 위해 A/B 테스트를 생성하고, 목표는 '구매하기 버튼 클릭수' 및 '구매 전환율' 두 가지를 설정했습니다.

  • '구매하기 버튼 클릭수'를 계산하기 위해서는 사용자가 구매하기 버튼을 클릭한 횟수를 수집해야 합니다. 따라서 '구매하기 버튼 클릭' 이라는 이벤트를 생성하고 그 이벤트가 발생한 횟수를 집계합니다.
  • '구매 전환율'을 계산하기 위해 사용자의 구매 완료가 얼마나 많이 발생했는지 알아낼 필요가 있습니다. 따라서 '구매 완료' 이벤트를 생성하고 해당 이벤트의 발생 건수를 수집합니다.

이처럼 목표 달성 여부를 알아내기 위해 목표와 연관된 이벤트가 얼마나 발생했는지 알아내는 게 중요합니다.

📘

이벤트를 입력하면 실제 코드와 어떻게 연동되나요?

  1. SDK 연동을 통해 자동 수집된 이벤트를 선택한 경우
    해당 경우에는 이미 코드 상에 존재하는 이벤트를 선택한 것이기 때문에, 자동으로 데이터 계산이 가능합니다.

  2. 직접 입력한 이벤트를 선택한 경우
    이 경우에는 코드 상에 없는 이벤트를 선택한 것이기 때문에, 코드 상에서 해당 이벤트를 원하는 위치에 심어주신 후 테스트를 시작해야 원활한 데이터 계산이 가능합니다.

Step 2-1. 전체 노출 기준

A/B 테스트에 노출된 모든 사용자를 목표의 분모로 설정하였으며, 분모의 계산 유형과 분자 설정을 진행합니다.
분자 설정을 위해서, 측정 이벤트계산 유형 그리고 필터를 선택할 수 있습니다.
A/B 테스트에 노출된 사용자 대비 선택한 이벤트의 계산 유형 및 필터 조건을 고려하여 결과값을 제공합니다.

전체 노출 기준 (A/B 테스트에 노출된 사용자) 대상 - 이벤트 및 계산 유형 선택전체 노출 기준 (A/B 테스트에 노출된 사용자) 대상 - 이벤트 및 계산 유형 선택

전체 노출 기준 (A/B 테스트에 노출된 사용자) 대상 - 이벤트 및 계산 유형 선택

필터는 사용자 혹은 이벤트의 속성 정보를 활용하여, 더 상세한 지표 설정을 할 수 있도록 돕습니다.

예를 들어, 패션과 같은 특정 카테고리 페이지에서 진행하는 A/B 테스트에서는 '패션 상품의 구매전환율'을 측정하려는 니즈가 있을 수 있고, 이런 상황에서 필터를 이용하여 원하는 지표를 설정할 수 있습니다.

필터의 첫 번째 칸에는 원하는 사용자 혹은 이벤트의 속성을, 두 번째 칸에는 선택한 속성에서 원하는 값을 선택합니다.

속성에 대한 이해가 필요한 경우 속성 문서를 참고하시기 바랍니다.

🚧

필터를 선택하여 지표를 생성하는 경우, 데이터 세부 분석 기능을 사용할 수 없습니다.

해당 기능은 지원 예정입니다.

전체 노출 기준을 분모로 선택시, 5가지의 유형의 목표를 설정할 수 있습니다.

분자

분모

설명

예시

사용자 수

사용자 수

A/B 테스트에 노출된 사용자 중 선택한 이벤트를 발생시킨 사용자의 비율을 계산합니다.

구매전환율, 배너클릭율, 검색전환율

횟수

사용자 수

A/B 테스트에 노출된 사용자들이 선택한 이벤트가 발생된 평균 횟수를 계산합니다.

사용자당 평균 버튼 클릭횟수, 사용자당 평균 구매횟수

사용자 수

A/B 테스트에 노출된 사용자들이 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.

사용자당 평균 구매금액

횟수

사용자가 A/B 테스트에 노출된 횟수 대비 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.

평균 페이지 로딩속도(Latency)

횟수

횟수

사용자가 A/B 테스트에 노출된 횟수 대비 선택한 이벤트가 발생된 평균 횟수를 계산합니다.

A/B 테스트 노출 대비 평균 클릭 횟수

Step 2-2. 특정 이벤트 기준

🚧

요금제를 확인해주세요

특정 이벤트 기준으로 설정을 하기 위해서는 프로 플랜 이상의 유료 요금제를 사용해야 합니다.

특정 이벤트 기준을 선택할 경우 목표의 분모 및 분자 설정을 모두 진행해야 합니다. 필요시 필터 설정도 가능합니다. 이 경우, 지표의 분모에 해당하는 이벤트를 선택할 수 있으며 A/B 테스트에 노출된 대상자 중 특정 이벤트를 발생시킨 유저 혹은 이벤트 발생횟수를 분모로 설정하게 됩니다.

직접 설정 - 이벤트 발생 및 기준 설정직접 설정 - 이벤트 발생 및 기준 설정

직접 설정 - 이벤트 발생 및 기준 설정

분자 설정의 경우, 분모에서 전체 노출 기준을 선택할 때와 동일하게 이벤트와 계산 유형을 모두 선택합니다. 다만 분모 설정의 경우, 분자 설정에서 어떤 계산 유형을 선택했는지에 따라 이벤트 및 계산 유형 선택 가능 여부가 달라집니다.

그리고 사용자가 실험에 노출된 이후에 분모에서 선택한 이벤트를 발생시키고, 그 이후에 분자의 이벤트를 발생시킨 경우만을 지표 계산에 포함합니다.

📘

사용자가 분모의 이벤트를 발생시킨 이후에 분자의 이벤트를 발생시킨 것만 계산에 포함됩니다.

'특정 이벤트 기준'을 선택시, 사용자가 A/B 테스트에 노출이 된 이후에 분모의 이벤트를 발생시키고, 그 이후에 분자의 이벤트를 발생시킨 경우만 지표 계산에 반영됩니다.

분모를 특정 이벤트 기준으로 선택시 - 분모/분자 이벤트 발생시점 전/후 관계를 고려하여 계산됨분모를 특정 이벤트 기준으로 선택시 - 분모/분자 이벤트 발생시점 전/후 관계를 고려하여 계산됨

분모를 특정 이벤트 기준으로 선택시 - 분모/분자 이벤트 발생시점 전/후 관계를 고려하여 계산됨

특정 이벤트 기준을 선택시 설정 가능한 지표의 유형은 다음과 같습니다.

분자

분모

설명

예시

사용자 수

사용자 수

사용자들이 분모에서 선택한 이벤트를 발생시킨 이후에 분자에서 선택한 이벤트를 발생시킨 비율을 계산합니다.

장바구니 담기 대비 구매전환율, 랜딩페이지 진입 대비 버튼 클릭율

사용자 수

사용자들이 분모에서 선택한 이벤트를 발생시킨 이후에 분자에서 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.

구매자당 평균 구매금액

횟수

횟수

사용자들이 분모에서 선택한 이벤트를 발생시킨 이후에 분자에서 선택한 이벤트를 발생시킨 횟수를 계산합니다.

검색시도 대비 검색결과 클릭 전환율

횟수

사용자들이 분모에서 선택한 이벤트를 발생시킨 횟수 대비, 분모에서 선택한 이벤트가 발생한 이후에 분자에서 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.

평균 주문금액(AOV)

Step 3. 목표 설명

설명은 선택 사항이므로 비워둘 수 있지만, 설명을 입력해두면 다른 팀원이 어떤 목표인지 이해하는데 도움이 됩니다.

Step 4. 성공 기준

성공 기준은 목표의 특성을 구분하기 위해 선택합니다. 예를 들면, 구매 금액인 경우 높아질수록 좋고, 반품 횟수인 경우 낮아질수록 좋은 목표입니다.

목표 설명 입력 및 목표 성공 기준 선택목표 설명 입력 및 목표 성공 기준 선택

목표 설명 입력 및 목표 성공 기준 선택

  • 그룹 A 대비 증가 시: 목표가 높아질수록 좋은 경우
    ** 예시 목표: 구매 전환율, 검색횟수, 가입자 수 등

  • 그룹 A 대비 감소 시: 목표가 낮아질수록 좋은 경우
    ** 예시 목표: 결제취소 횟수, 페이지 로딩 시간 등

Step 5. 만들기

우측 하단에 위치한 만들기 버튼을 클릭하면 목표 직접 만들기가 완료됩니다.
만들어진 목표는 기존 유형으로 리스트에 나타나며, 자동으로 선택된 상태임을 알 수 있습니다.

목표 삭제

만약 특정 목표에 대해 데이터를 수집할 필요가 없어졌거나 목표를 잘못 만들어서 삭제하고 싶다면 해당 목표를 삭제할 수 있습니다.
다만 목표 설정하기와 마찬가지로, 삭제 또한 A/B 테스트 시작 전까지만 가능합니다.

다시 목표 설정하기 버튼을 클릭합니다. 다이얼로그 우측에서 현재 선택한 목표를 볼 수 있습니다.

각 목표의 우측에 있는 X 모양 아이콘을 눌러 해당 목표를 삭제할 수 있습니다. 삭제 완료 후 저장하기 버튼을 누르면 반영됩니다.


Did this page help you?