지표 관리

지표(metric)는 A/B 테스트 결과 분석 등에 사용되며, 다양한 사내 조직에서 지표 측정을 필요로 하기에 수많은 지표를 체계적으로 관리할 수 있도록 지표 관리 메뉴를 제공하고 있습니다.

지표 직접 만들기

좌측 네비게이션의 지표 관리 메뉴 우측 상단에 있는 지표 생정하기 버튼을 클릭합니다.

지표 생성하기 버튼을 클릭하면 아래와 같은 다이얼로그가 나타납니다.

지표는 이벤트 지표시간 지표 로 구분됩니다. 이벤트 지표는 구매전환율, 평균 클릭횟수, 평균 주문금액과 같은 사용자의 행동 여부 혹은 빈도를 측정하기 위함이며, 시간 지표는 체류시간, 주문서 → 주문완료에 소요된 시간과 같이 특정한 시간을 측정할때 사용할 수 있습니다.

각각의 설정방법은 아래에 순서대로 기술되어 있습니다.

이벤트 지표 만들기

이벤트 지표 를 클릭하면 아래 화면이 보여집니다.

지표의 이름, 측정하는 방법을 정의하기 위한 지표 설정, 그리고 하단의 추가 설정 항목을 확인할 수 있습니다. 특히, 지표 설정 영역에서는 지표의 분모와 분자를 각각 설정할 수 있는 것을 확인할 수 있습니다.

지표 직접 만들기 팝업창

지표 직접 만들기 팝업창

Step 1. 지표 이름, 설명 입력

해당 지표의 이름과 설명을 입력합니다.

Step 2. 데이터 설정

어떤 조건의 사용자를 대상으로 어떤 데이터를 분석할지 설정합니다.
'어떤 조건의 사용자를 대상'을 설정하는 것을 분모 설정, '어떤 데이터를 분석'할지 설정하는 것을 분자 설정이라고 합니다.

  1. 지표의 분자 설정
    설정을 위해 이벤트가 필요합니다.
    이벤트는 기존에 생성된 것을 선택할 수도 있고 새로 만들 수도 있습니다.
    이벤트 새로 만들기에 대한 도움이 필요한 경우 이벤트 생성하기 문서를 참고하시기 바랍니다.

  2. 지표의 분모 설정
    2가지 항목을 선택할 수 있습니다.

  • 전체 사용자 기준 : 서비스에 접속한 전체 사용자를 의미
  • 특정 이벤트 기준 : 선택한 이벤트를 발생시킨 사용자를 의미합니다. 예를 들어 이벤트를 'login'으로 입력시, 전체 사용자 중에 'login' 이벤트를 발생시킨 사용자만 분모로 확인하겠다는 의미입니다. 단, 특정 이벤트 기준으로 설정하기 위해서는 프로 플랜 이상의 유료 요금제를 이용 중이어야 합니다.

📘

왜 이벤트가 필요한가요?

예를 들어 어떤 회사가 구매하기 버튼의 색상 변경을 검토하고 있습니다. 변경안이 효과가 있을지 확인하기 위해 하고 '구매하기 버튼 클릭수' 및 '구매 전환율' 지표를 확인하기 위한 데이터 분석 차트를 생성했습니다.

  • '구매하기 버튼 클릭수'를 계산하기 위해서는 사용자가 구매하기 버튼을 클릭한 횟수를 수집해야 합니다. 따라서 '구매하기 버튼 클릭' 이라는 이벤트를 생성하고 그 이벤트가 발생한 횟수를 집계합니다.
  • '구매 전환율'을 계산하기 위해 사용자의 구매 완료가 얼마나 많이 발생했는지 알아낼 필요가 있습니다. 따라서 '구매 완료' 이벤트를 생성하고 해당 이벤트의 발생 건수를 수집합니다.

이처럼 지표 개선 여부를 알아내기 위해 지표와 연관된 이벤트가 얼마나 발생했는지 알아내는 게 중요합니다.

📘

이벤트를 입력하면 실제 코드와 어떻게 연동되나요?

  1. SDK 연동을 통해 자동 수집된 이벤트를 선택한 경우
    해당 경우에는 이미 코드 상에 존재하는 이벤트를 선택한 것이기 때문에, 자동으로 데이터 계산이 가능합니다.

  2. 직접 입력한 이벤트를 선택한 경우
    이 경우에는 코드 상에 없는 이벤트를 선택한 것이기 때문에, 코드 상에서 해당 이벤트를 원하는 위치에 심어주신 후 테스트를 시작해야 원활한 데이터 계산이 가능합니다.

Step 2-1. 전체 사용자 기준

서비스에 접속한 모든 사용자를 지표의 분모로 설정하였으며, 분모의 계산 유형과 분자 설정을 진행합니다.
분자 설정을 위해서, 측정 이벤트계산 유형 그리고 필터를 선택할 수 있습니다.
전체 사용자 대비 선택한 이벤트의 계산 유형 및 필터 조건을 고려하여 결과값을 제공합니다.

전체 사용자 대상 - 이벤트 및 계산 유형 선택

전체 사용자 대상 - 이벤트 및 계산 유형 선택

필터는 사용자 혹은 이벤트의 속성 정보를 활용하여, 더 상세한 지표 설정을 할 수 있도록 돕습니다.

예를 들어, 커머스 기업의 패션 카테고리 담당자는 '패션 상품의 구매전환율'을 측정하려는 니즈가 있을 수 있고, 이런 상황에서 필터를 이용하여 원하는 지표를 설정할 수 있습니다.

필터의 첫 번째 칸에는 원하는 사용자 혹은 이벤트의 속성을, 두 번째 칸에는 선택한 속성에서 원하는 값을 복수 선택합니다.
And 조건을 활용해 필터는 최대 5개의 조건까지 설정할 수 있습니다.

속성에 대한 이해가 필요한 경우 속성 문서를 참고하시기 바랍니다.

🚧

필터를 선택하여 지표를 생성하는 경우, 데이터 세부 분석 기능을 사용할 수 없습니다.

해당 기능은 지원 예정입니다.

전체 사용자 기준을 분모로 선택시, 5가지의 유형의 지표를 설정할 수 있습니다.

분자분모설명예시
사용자 수사용자 수전체 사용자 중 선택한 이벤트를 발생시킨 사용자의 비율을 계산합니다.구매전환율, 배너클릭율, 검색전환율
횟수사용자 수전체 사용자들이 선택한 이벤트를 발생시킨 평균 횟수를 계산합니다.사용자당 평균 버튼 클릭횟수, 사용자당 평균 구매횟수
사용자 수전체 사용자들이 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.사용자당 평균 구매금액
횟수전체 사용자들의 방문횟수 대비 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.평균 페이지 로딩속도(Latency)
횟수횟수전체 사용자들의 방문횟수 대비 선택한 이벤트의 평균 발생 횟수를 계산합니다.
* 비고: 전체 사용자들의 방문횟수가 분자로 설정된 이벤트의 발생횟수보다 많아야 통계적인 분석이 가능합니다.
방문당 평균 상품 페이지 조회수

Step 2-2. 특정 이벤트 기준

🚧

요금제를 확인해주세요

특정 이벤트 기준으로 설정을 하기 위해서는 프로 플랜 이상의 유료 요금제를 사용해야 합니다.

특정 이벤트 기준을 선택할 경우 지표의 분모 및 분자 설정을 모두 진행해야 합니다. 필요시 필터 설정도 가능합니다. 이 경우, 지표의 분모에 해당하는 이벤트를 선택할 수 있으며 전체 사용자 중 특정 이벤트를 발생시킨 유저 혹은 이벤트 발생횟수를 분모로 설정하게 됩니다.

직접 설정 - 이벤트 발생 및 기준 설정

직접 설정 - 이벤트 발생 및 기준 설정

분자 설정의 경우, 분모와 동일하게 이벤트와 계산 유형을 모두 선택합니다. 다만 분모 설정의 경우, 분자 설정에서 어떤 계산 유형을 선택했는지에 따라 이벤트 및 계산 유형 선택 가능 여부가 달라집니다.

그리고 사용자가 분모에서 선택한 이벤트를 발생시키고, 그 이후에 분자의 이벤트를 발생시킨 경우만을 지표 계산에 포함합니다.

📘

사용자가 분모의 이벤트를 발생시킨 이후에 분자의 이벤트를 발생시킨 것만 계산에 포함됩니다.

'특정 이벤트 기준'을 선택시, 사용자가 분모의 이벤트를 발생시키고 그 이후에 분자의 이벤트를 발생시킨 경우만 지표 계산에 반영됩니다.

분모를 특정 이벤트 기준으로 선택시 - 분모/분자 이벤트 발생시점 전/후 관계를 고려하여 계산됨

분모를 특정 이벤트 기준으로 선택시 - 분모/분자 이벤트 발생시점 전/후 관계를 고려하여 계산됨

특정 이벤트 기준을 선택시 설정 가능한 지표의 유형은 다음과 같습니다.

분자분모설명예시
사용자 수사용자 수사용자들이 분모에서 선택한 이벤트를 발생시킨 이후에 분자에서 선택한 이벤트를 발생시킨 비율을 계산합니다.장바구니 담기 대비 구매전환율, 랜딩페이지 진입 대비 버튼 클릭율
사용자 수사용자들이 분모에서 선택한 이벤트를 발생시킨 이후에 분자에서 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.구매자당 평균 구매금액
횟수사용자들이 분모에서 선택한 이벤트를 발생시킨 횟수 대비, 분모에서 선택한 이벤트가 발생한 이후에 분자에서 선택한 이벤트에서 발생시킨 값의 평균을 계산합니다.평균 주문금액(AOV)
횟수횟수분모에서 선택한 이벤트가 발생한 횟수 대비 분자에서 선택한 이벤트가 발생한 횟수를 계산합니다.
* 비고: 분모로 설정된 이벤트의 발생횟수가 분자로 설정된 이벤트의 발생횟수보다 많아야 통계적인 분석이 가능합니다.
검색시도 대비 검색결과 클릭 전환율

Step 3. 성공 기준

성공 기준은 지표의 특성을 구분하기 위해 선택합니다. 예를 들면, 구매 금액인 경우 높아질수록 좋고, 반품 횟수인 경우 낮아질수록 좋은 지표입니다.

지표 설명 입력 및 지표 성공 기준 선택

지표 설명 입력 및 지표 성공 기준 선택

  • 기존 대비 증가 시: 지표가 높아질수록 좋은 경우
    ** 예시 지표: 구매 전환율, 검색횟수, 가입자 수 등

  • 기존 대비 감소 시: 지표가 낮아질수록 좋은 경우
    ** 예시 지표: 결제취소 횟수, 페이지 로딩 시간 등

Step 4. 만들기

우측 하단에 위치한 만들기 버튼을 클릭하면 지표 직접 만들기가 완료됩니다.
만들어진 지표는 지표 관리 메뉴에 보여집니다.

시간 지표 만들기

데이터 설정

시간을 측정하고자 하는 구간에 대한 정의가 필요하며, 이를 분자, 분모영역에서 설정하게 됩니다.

  1. 지표의 분자 설정
    시간을 측정하고자 하는 구간의 시작점을 '시작 이벤트', 구간의 종료지점을 '종료 이벤트'에 설정합니다.
  • 예: 회원가입 과정에 소요된 시간을 측정합니다. 시작 이벤트는 '회원가입 정보를 입력하는 페이지 진입', 종료 이벤트는 '회원가입 완료'가 될 수 있습니다.

시작, 종료이벤트 아래에 '계산 조건'을 설정할 수 있는 영역이 있습니다. 계산 조건에 설정된 시간 내에 시작 이벤트 → 종료 이벤트에 도달한 경우만 계산에 반영됩니다.

  • 예: 앱 오픈 → 주문완료에 소요된 시간을 측정합니다. 이 때, 앱 오픈부터 1시간 이내에 주문완료가 되지 않은 경우는 계산에서 제외할 수 있습니다.
  1. 지표의 분모 설정
    시간 지표의 계산 유형을 설정합니다. '사용자 수' 혹은 '전환 횟수' 를 선택할 수 있으며, 각 항목을 선택시 아래와 같은 지표를 측정할 수 있습니다.
  • 사용자 수: 사용자당 평균 체류시간 (예: 서비스 체류시간)
  • 전환 횟수: 전환 (시작 이벤트 → 종료 이벤트 도달) 에 걸린 평균 소요시간 (예: 주문서 진입 → 주문완료까지 걸린 시간)

지표의 이름, 추가 설정 영역 방법은 이벤트 지표와 동일합니다.

지표 상세 페이지

지표 관리 메뉴에 등록된 지표를 클릭하면 상세정보를 확인할 수 있는 페이지로 이동하게 됩니다. 상세 페이지에서는 아래사항을 확인하거나 편집할 수 있습니다.

  • 지표의 분모, 분자 설정을 확인할 수 있습니다.
  • 해당 지표가 추가된 A/B 테스트 목록을 확인할 수 있습니다.
  • 지표의 이름, 설명을 수정할 수 있습니다.
  • 지표의 태그(tag) 정보를 관리할 수 있습니다.
  • 우측 상단의 '가드레일 지표' 토글을 활성화(On)한 경우, A/B 테스트 지표 등록시에 '가드레일 지표' 란에 자동으로 추가되게 됩니다.

지표 삭제

더 이상 사용하지 않는 지표는 상세 페이지 우측 상단의 휴지통 아이콘을 클릭하면 삭제 가능합니다.

지표 관리 메뉴에서 지표를 삭제하더라도 A/B 테스트, 데이터 분석에서 사용중인 지표에는 영향을 주지 않습니다. A/B 테스트, 데이터 분석에서 사용중인 지표는 별도로 삭제해야 합니다.