URL 테스트 진행 방법

준비

1. URL 테스트 생성하기

A/B 테스트 탭 > [새 A/B 테스트 생성하기] 버튼 클릭 > 모달에서 [URL테스트] 를 클릭하여 새 URL 테스트를 만들 수 있습니다.

2. 검증할 가설 입력

실험을 통해 검증하려는 가설과 실험의 이름을 입력하면, 실험이 생성됩니다.

3. Group 설명 및 URL 입력

생성된 URL 테스트 상세 화면에서 [URL 설정] 탭에서 각 그룹에 대한 설명을 입력하고 URL 을 입력하고 저장합니다.

그룹 A 는 URL 테스트가 시작되는 곳 이므로, 실험 대상이 될 기존 버전의 URL 을 입력할 수 있습니다. 실험 대상을 자세하게 설정하기 위해 그룹 A 에는 아래와 같은 고도화된 기능이 지원됩니다.

• [+ OR 조건 추가하기] 설정 : 실험 대상을 설정할 URL 이 1개 이상이라면 [+ OR 조건 추가하기] 를 통해 여러 URL 을 입력할 수 있습니다.
  예를 들어, Group A : URL 1 or URL 2 라고 설정하시면, url 1 혹은 url 2 로 유입된 트래픽이 모두 실험 대상이 됩니다.
• 매칭 조건 설정 : 실험하려는 URL 의 구조나 실험 범위에 따라 적합한 매칭 조건을 선택할 수 있습니다.
  • 정확히 일치하는 : 실험하려는 URL 과 정확히 일치하는 URL 을 입력해주세요.
    • 예시 입력 URL : http://www.example.com/category/1/product/1/display/1
    • 허용되지 않는 예시1 : http://www.example.io/category/1/product/1/display/1
    • 허용되지 않는 예시2 : http://www.example.com/category/1/product/1/display/1/utm=source
  • 다음으로 시작하는 : 입력한 URL 로 시작하는 모든 URL 이 실험 대상이 됩니다.
    • 예시 입력 URL : http://www.example.com/category/1/product/1
    • 허용 예시 1 :http://www.example.com/category/1/product/1/display/10
    • 허용 예시 2 : http://www.example.com/category/1/product/1?search_keyword=example&utm..
  • 다음을 포함하는 : 특정 구간을 포함하는 URL를 모두 실험 대상으로 하고 싶을 경우 이 조건을 설정하면 입력한 내용의 앞 혹은 뒤에 어떤 문구가 오는 URL 이더라도 실험 대상에 포함됩니다.
    • 예시 입력 : promotion/best-seller/product/1/display/10
    • 허용 예시1 : www.hackle.io/promotion/best-seller/product/1/display/10
    • 허용 예시2 : www.hackle.co.kr/promotion/best-seller/product/1/display/10/utm=source

Tip :한글이 포함된 URL 을 입력하셔도, 인코딩된 값과 동일하게 비교되므로 한글이 포함한 URL 을 입력해도 문제없이 실험을 진행하실 수 있습니다.

4. 실험 연동 코드 확인 및 삽입

상단에서 [코드 확인하기] 버튼을 클릭하거나, [URL 설정] 탭 하단에서 연동 코드에 대한 내용을 확인할 수 있습니다.

해당 코드를 실험하려는 url 의 페이지의 기존 코드 head 안에 추가하면 됩니다.

실험하기 위해 입력한 url 이 3개라면, 3개 페이지의 head 안에 모두 넣어주셔야 실험이 정상작동합니다.

5. 지표 설정

상단 [지표 설정하기] 를 눌러서 이 실험의 영향, 성공 여부를 측정하기 위한 지표를 추가해주세요.

지표 설정은 이 문서 를 보시면 자세한 설명을 볼 수 있습니다.

6. 타켓팅 설정

[타켓팅 설정하기] 를 통해 이 실험에 노출될 타켓을 설정할 수 있고, 이 문서 보시면 자세히 알아볼 수 있습니다.

상호 배타적 설정

여러 실험이 동시에 진행되거나, 트래픽을 분리해서 관리하고 싶을 경우 상호 배타 설정을 통해 설정할 수 있습니다.

상호 배타적 설정은 아래 이미지 처럼 [상호 배타적 설정] 탭을 클릭해서 설정할 수 있고, 이 문서 에서 더 자세히 안내드립니다.

진행

준비가 끝났다면, 상단의 [시작하기] 를 눌러서 URL 실험을 시작할 수 있습니다.

이후 보여지는 모달에서 성공적인 실험 진행을 위해 URL 확인, 연동 여부 등을 확인합니다.

1. 진행 상태 진단

실험 진행을 위해, 테스트 연동 여부, 등록한 이벤트 전송 여부 등을 확인해드립니다.

오류 사항에 대해서는 이 문서 에서 자세히 확인할 수 있습니다.

2. 트래픽 할당

A/B 테스트에 할당하고자 하는 트래픽의 비중은 0(%)부터 100(%)까지 입력 가능하며, 설정한 그룹의 갯수만큼 1/N 으로 분배됩니다.

실험 시작 이후에도 트래픽 비중을 변경할 수 있지만, 이전에 설정되어 있던 값보다 낮은 값으로는 변경할 수 없는 점 참고 바랍니다.

데이터 분석 및 결과 해석

실험이 진행되면 설정하신 [지표] 에 대한 상세 데이터를 보여드립니다. 데이터 분석 및 결과 해석은 이 문서 에서 자세히 확인할 수 있습니다.

새로운 지표를 생성 혹은 추가 하고 싶은 경우 [지표 관리] 문서를 참고하시면 쉽게 따라할 수 있습니다.

실험 중에 지표를 추가하더라도 해당 지표는 테스트 시작 시점부터의 데이터를 기반으로 계산되니, 진행 중 언제라도 추가하셔도 됩니다.

진행 상태 변경

실험이 진행된 이후에도, 일시 정지 혹은 버전 관리 등을 사용할 수 있습니다.

상태는 이 문서 에서 상세 내용을 알 수 있습니다.

Q&A

• GTM 을 사용 중이신 경우, Google Tag Manager (GTM)문서를 보시면 GTM 템플릿을 활용해서 연동 과정을 쉽게 진행할 수 있습니다.