목적

핵클 A/B 테스트에서 경험하실 수 있는 Google Optimize 와의 차별점에 대해 소개합니다. 이 문서를 통해 다음 두 가지 사항을 이해하실 수 있습니다.

핵클 A/B 테스트가 Google Optimize 대비 추가로 제공하는 기능
해당 기능을 통해 핵클 A/B 테스트 사용자가 얻을 수 있는 이점

요약 설명

핵클 A/B 테스트는 사용자의 서비스 이용 속도를 지연시키지 않습니다.
핵클 A/B 테스트는 실시간에 가깝게 실험 설정의 변경 사항을 반영합니다.
핵클 A/B 테스트는 실험 결과 데이터를 자주 업데이트 합니다. (1시간 당 최소 1회 이상)
핵클 A/B 테스트는 SPA(Single Page Application)를 지원합니다.
원하는 지표를 자유롭게 설정할 수 있습니다.
지표를 세그먼트 단위로 분석할 수 있습니다.
더욱 고도화된 타겟팅 기능을 제공합니다.
핵클 A/B 테스트는 클라이언트 SDK 와 서버 SDK 를 모두 제공하며, 모바일 앱 / 웹 브라우저 / 서버를 포함하는 모든 환경에서 실험이 가능합니다.
핵클 A/B 테스트는 세션뿐만 아니라 디바이스 ID 등의 원하는 기준으로 사용자를 식별할 수 있습니다.
핵클 A/B 테스트는 샘플링 없이 전체 데이터를 기반으로 결과값을 제공합니다.
핵클은 상시 Hotline 을 통해 고객을 기술적으로 지원합니다.
핵클 A/B 테스트는 실험 단위로 확인할 수 있는 결과 수에 제한이 없습니다.
핵클 A/B 테스트는 동시에 진행할 수 있는 실험 수에 제한이 없습니다.
핵클 A/B 테스트는 하나의 실험에 대해 개발환경과 운영환경을 모두 제공하기 때문에 실험 진행이 용이합니다.

상세 설명

1. 핵클 A/B 테스트는 사용자의 서비스 이용 속도를 지연시키지 않습니다.

핵클 A/B 테스트를 도입하면 고객 플랫폼 서비스의 속도가 느려지지 않습니다. 반면, 비주얼 에디터(Visual Editor) 혹은 위지윅 에디터(WYSIWYG editor)를 기반으로 수행한 A/B 테스트가 많아질수록 사용자에게 보여질 화면을 띄우기 위한 로딩시간이 점점 느려질 수 있습니다. 이는 사용자가 어떤 화면을 봐야할지를 에디터에서 판단하게 되어 발생하는 현상입니다.

2. 핵클 A/B 테스트는 실시간에 가깝게 실험 설정의 변경 사항을 반영합니다.

핵클 SDK 연동후에는 대시보드에서 변경된 설정 정보를 주기적으로 수신하여 코드에 반영합니다.

A/B 테스트를 시작하는데 수 시간이 소요될 수 있는 Google Optimize와 비교하여 핵클 SDK는 구성 정보 변경 사항을 업데이트하는 주기가 짧아, 실시간에 가깝게 A/B 테스트의 진행 상황을 제어할 수 있습니다.

3. 핵클 A/B 테스트는 실험 결과 데이터를 자주 업데이트 합니다. (1시간 당 최소 1회 이상)

Google Optimize에서는 Google Analytics에서 전날까지 취합된 데이터를 기반으로 실험 결과를 제공하기 때문에 경우에 따라 24시간까지 시차가 나타납니다. 이 경우 사용자는 현재 상황에 대한 즉각적인 판단과 대응을 하기 어렵습니다.

핵클에서는 실험 결과를 1시간에 최소 1회 이상 업데이트하기 때문에 시차가 1시간 이내로 관리됩니다.

4. 핵클 A/B 테스트는 SPA(Single Page Application)를 지원합니다.

Google Optimize는 SPA(Single Page Application) 방식으로 구현된 서비스, 즉 기존의 웹 브라우저에서 새 웹 페이지를 로드하는 대신 현재 웹 페이지에서 변경이 필요한 부분만 갱신하는 방식으로 동작하는 서비스에서는 정상적으로 A/B 테스트 구현이 되지 않거나 사용자 데이터 수집이 되지 않는 경우가 있습니다. 반면, 핵클은 SPA 방식으로 구현된 서비스 상에서도 A/B 테스트를 수행하는데 문제가 없습니다.

5. 핵클 A/B 테스트는 원하는 지표를 자유롭게 설정할 수 있습니다.

핵클에서는 지표의 분모/분자를 원하는 이벤트로 선택할 수 있으며, 다양한 계산유형 제공을 통해 전환율 뿐만 아니라 평균 주문금액(AOV), 사용자당 평균 구매금액(ARPU), 구매자당 평균 구매금액(ARPPU) 등의 지표를 측정할 수 있습니다.

또한, 특정 유저 세그먼트를 대상으로 지표를 측정할 수 있는 필터 설정 기능도 제공하고 있습니다.

6. 핵클 A/B 테스트에서는 지표를 세그먼트 단위로 분석할 수 있습니다.

실험에서 측정하고자 하는 지표의 결과를 플랫폼(iOS, Android, Web 등), 브라우저, 앱 버전 혹은 고객사에서 내부적으로 관리하는 속성정보(ex. 멤버십 회원여부, 첫구매여부, 성별, 연령대 등) 를 기준으로 세그먼트 분석을 할 수 있습니다.

이를 통해, A/B 테스트의 지표가 특정 세그먼트에만 영향을 주고 있는지 확인할 수 있습니다.

7. 핵클 A/B 테스트는 더욱 고도화된 타겟팅 기능을 제공합니다.

핵클은 Google Optimize에서 제공하는 사용자 타겟팅 조건보다 더욱 다양하고 원하는 타겟팅 조건을 Custom 하게 설정할 수 있도록 지원하며, 타겟팅 시 여러 조건을 설정할 수 있도록하여 원하는 유저를 대상으로 A/B 테스트를 진행할 수 있도록 지원하고 있습니다.

8. 핵클은 클라이언트 SDK 와 서버 SDK 를 모두 제공합니다. (Google Optimize는 비쥬얼 에디터만 기본으로 제공합니다.)

Google Optimize는 웹 브라우저 기반 A/B 테스트만 지원합니다. 반면, 핵클은 클라이언트 및 서버 SDK를 제공하여 모바일, 데스크탑, 서버 환경과 플랫폼을 만들기 위해 사용된 모든 프로그래밍 언어에서의 A/B 테스트 및 테스트 그룹 생성, 구현을 지원합니다.

9. 핵클 A/B 테스트는 세션뿐만 아니라 디바이스 ID 등의 원하는 기준으로 사용자를 식별할 수 있습니다.

Google Optimize는 사용자 식별자를 세션으로 관리합니다. 이는 Google Optimize의 가장 큰 제약사항 중 하나입니다. 예를 들면, 각 하루 간격으로 웹사이트를 두 번 방문하는 동일한 방문자가 Google Optimize에서는 2명의 다른 방문자로 기록되며, A/B 테스트에서 다른 그룹의 화면을 보게 될 수 있기 때문입니다.

핵클의 사용자 식별자 (사용자 식별자 관리하기)문서에 게시된 것 처럼 A/B 테스트에 있어서 사용자 식별자를 정확하게 정의하는 것이 매우 중요합니다. 핵클에서는 고객이 직접 원하는 측정기준을 사용해서 사용자 식별자를 정의할 수 있으므로 세션 기반 사용자 식별자에서 나타나는 한계점을 극복할 수 있습니다.

10. 핵클 A/B 테스트는 샘플링 없이 전체 데이터를 기반으로 결과값을 제공합니다.

Google Optimize는 데이터를 샘플링하여 사용하므로 경우에 따라 통계적으로 유의미하지 않은 데이터가 제공될 수 있습니다.

핵클 A/B 테스트는 결과를 계산할 때 전체 데이터를 사용하기 때문에 정확한 계산 결과를 제공합니다.

11. 핵클은 상시 Hotline을 통해 고객을 기술적으로 지원합니다.

핵클에서는 A/B 테스트 코드 구현을 포함한 SDK 연동 과정이나 실험을 진행하면서 궁금하셨던 점들을 편하게 질문하실 수 있도록 Slack 메신저에서 고객사별 private channel을 지원해 드리고 있습니다.

12. 핵클 A/B 테스트에서는 실험 단위로 확인할 수 있는 지표의 개수에 제한이 없습니다.

Google Optimize는 하나의 실험에서 측정할 수 있는 목표가 총 3개로 제한됩니다.

핵클 A/B 테스트에서는 실험을 구성할 때 목표 개수에 제한이 없어, 다양한 목표를 동시에 측정할 수 있습니다.

13. 핵클 A/B 테스트는 동시에 진행할 수 있는 실험 수에 제한이 없습니다.

Google Optimize는 동시에 총 5개의 개별적인 실험만 실행할 수 있는 반면 핵클 A/B 테스트에서는 동시에 실행할 수 있는 실험의 개수에 대한 제한이 없습니다.

14. 핵클 A/B 테스트는 하나의 실험에 대해 개발환경과 운영환경을 모두 제공하기 때문에 실험 진행이 용이합니다.

Google Optimize는 운영환경과 개발환경의 분리가 되어있지 않아, 개발자가 환경을 오해할 가능성이 있습니다. A/B 테스트를 코드로 구현하고자 할 때 미리 개발환경에서 테스트를 진행해야 하는데, 환경을 오해하여 실제로 사용자에게 노출되는 운영환경의 설정을 수정하는 문제가 발생할 가능성이 높습니다.

핵클에서는 하나의 실험을 진행할 때 운영환경과 개발환경을 모두 제공하여, 이와 같은 문제의 발생 가능성이 없습니다.