목적

핵클 A/B 테스트에서 경험하실 수 있는 Optimizely와의 차별점에 대해 소개합니다. 이 문서를 통해 다음 두 가지 사항을 이해하실 수 있습니다.

1. 핵클 A/B 테스트가 Optimizely와 달리 추가로 제공하는 것
2. 해당 기능을 통해 핵클 A/B 테스트 사용자가 얻을 수 있는 이점

요약 설명

1. 원하는 지표를 자유롭게 설정할 수 있습니다.

2. 지표를 세그먼트 단위로 분석할 수 있습니다.

3. 데이터 인사이트, 사용자 퍼널 분석 등의 실시간 데이터 분석 기능을 제공합니다.

4. Optimizely 대비 매우 합리적인 가격으로 이용할 수 있습니다.

5. 핵클은 필요한 문제를 빠르게 해결할 수 있도록 지원합니다.

6. 핵클은 진행중인 A/B 테스트를 임의로 중단시키지 않습니다.

7. 핵클은 지속적으로 쌓이는 데이터와 관계없이 빠르게 결과를 업데이트합니다.

상세 설명

1. 핵클 A/B 테스트는 원하는 지표를 자유롭게 설정할 수 있습니다.

핵클에서는 Optimizely 대비 지표의 분모/분자를 원하는 이벤트로 선택할 수 있으며, 특정 유저 세그먼트를 대상으로 지표를 측정할 수 있는 필터 설정 기능도 제공하고 있습니다.

그리고 다양한 계산유형 제공을 통해 전환율 뿐만 아니라 평균 주문금액(AOV), 사용자당 평균 구매금액(ARPU), 구매자당 평균 구매금액(ARPPU) 등의 지표를 측정할 수 있습니다.

2. 핵클 A/B 테스트에서는 지표를 세그먼트 단위로 분석할 수 있습니다.

실험에서 측정하고자 하는 지표의 결과를 플랫폼(iOS, Android, Web 등), 브라우저, 앱 버전 혹은 고객사에서 내부적으로 관리하는 속성정보(ex. 멤버십 회원여부, 첫구매여부, 성별, 연령대 등) 를 기준으로 세그먼트 분석을 할 수 있습니다. SDK를 통해 속성정보만 전송되면 별도의 셋팅없이 세그먼트 분석 기능을 이용할 수 있습니다.

이를 통해, A/B 테스트의 지표가 특정 세그먼트에만 영향을 주고 있는지 확인할 수 있습니다.

3. 핵클 A/B 테스트는 데이터 인사이트, 사용자 퍼널 분석 등의 실시간 데이터 분석 기능을 제공합니다.

핵클에서는 A/B 테스트 뿐만 아니라 A/B 테스트 설계 및 결과 분석에 필요한 데이터 분석 기능을 점차 제공해나가고 있습니다. 데이터 인사이트 기능을 통해 이벤트의 추이를 확인할 수 있으며, 향후 유저(ex. 활성유저) 및 A/B 테스트에 등록된 지표 등의 추이도 확인할 수 있도록 업데이트 될 예정입니다.

또한, 사용자 퍼널 분석 기능을 제공하여 원하는 유저 여정의 현황을 확인할 수 있도록 하고 있습니다.

4. 핵클 A/B 테스트는 Optimizely 대비 매우 합리적인 가격으로 이용할 수 있습니다.

Optimizely의 연간 이용 요금은 최소 $36,000 (약 4,000만 원) 에서 시작하는 것으로 알려져 있으며, 연 단위 계약으로만 이용할 수 있습니다. Optimizely의 높은 가격으로 인해 초기단계의 기업인 경우 A/B 테스트 도입이 어려울 수 있습니다. 하지만 핵클 A/B 테스트 플랫폼은 무료 요금제를 운영하여 A/B 테스트를 비용 장벽 없이 도입해 볼 수 있도록 하고 있습니다. 또한 사용량에 기반한 과금 정책, 월 단위로 이용 가능한 요금제를 운영하고 있으며 비용 측면에서도 Optimizely 대비 매우 합리적인 요금으로 이용할 수 있습니다.

5. 핵클 A/B 테스트는 필요한 문제를 빠르게 해결할 수 있도록 지원합니다.

Optimizely는 한국에 오피스를 운영하거나 직접적으로 국내 고객지원을 위한 수단을 운영하고 있지 않습니다. 시차가 존재하며, 한국어를 통한 지원은 제공되지 않습니다. 이로 인해 기술적으로 해결해야 하는 문제가 발생한 경우, 미국 등 해외에 위치한 Optimizely 오피스의 도움을 받아야 하는 경우가 있기에 시차, 언어로 인한 커뮤니케이션 비용이 발생할 수 밖에 없습니다.

수 많은 A/B 테스트를 경험한 구성원들이 만든 핵클 A/B 테스트 플랫폼을 이용하면 이러한 커뮤니케이션 비용을 줄이고, A/B 테스트를 준비하고 진행하는 과정에서 겪게 되는 문의사항을 빠르게 해결할 수 있습니다.

6. 핵클 A/B 테스트는 진행중인 A/B 테스트를 임의로 중단시키지 않습니다.

Optimizely에서는 이용하고 있는 요금제에 따라 A/B 테스트에 노출되는 사용자 할당량이 존재합니다. 월간 고유 사용자 할당량에 도달하면 Optimizely에서 진행중인 A/B 테스트가 모두 중단됩니다. 즉, A/B 테스트를 효율적으로 운영할 수 없으며, 때로는 중요한 지표를 놓치게 됩니다. 핵클 A/B 테스트는 할당량에 도달하더라도 진행중인 A/B 테스트가 도중에 중단시키지 않습니다.

7. 핵클 A/B 테스트는 지속적으로 쌓이는 데이터와 관계없이 빠르게 결과를 업데이트합니다.

타사의 서비스는 데이터의 양이 증가할수록 더 많은 데이터를 처리, 저장, 계산하기 위해 업데이트 주기가 점점 길어집니다. 핵클 A/B 테스트 플랫폼을 사용하면 데이터 업데이트 주기가 느려지거나 일관성 없는 무작위 업데이트가 아닌 시간 단위로 업데이트되는 A/B 테스트 결과를 확인할 수 있습니다.