자주 묻는 질문

1. 핵클 A/B 테스트 플랫폼 관련 질문

1) 핵클 A/B 테스트 플랫폼으로는 어떤 A/B 테스트를 할 수 있나요?

핵클은 모바일 앱, 웹 사이트에서의 화면 변경 혹은 서버에서 제공하는 API를 변경하기 위한 A/B 테스트를 모두 지원합니다. 화면 변경, 신규 기능 출시, 알고리즘 변경과 같은 서버/클라이언트 기반의 A/B 테스트가 가능합니다.

2) 핵클 A/B 테스트 플랫폼을 이용하는 기업에는 어떤 곳들이 있나요?

개발팀의 규모에 관계없이, 제공하는 서비스의 유형에 관계없이 다양한 기업이 핵클을 이용하고 있습니다.

핵클 A/B 테스트 플랫폼을 이용하여 데이터 기반의 제품 개발을 활발히 진행하고 있는 기업으로는 여기어때, 오늘의집, 엘지유플러스, 올리브영, 요기요, 스파르타코딩클럽,게임듀오 등이 있습니다.

3) 핵클에서 제공하는 기능에는 어떤 것이 있나요?

핵클에서 제공하는 SDK를 이용하여 핵클 플랫폼과 연동 작업을 완료하면 이후에는 코드 작업 없이 A/B 테스트를 쉽게 켜고 끌 수 있습니다. 또한, 전체 트래픽 중 원하는 비율의 트래픽으로 A/B 테스트를 진행할 수 있습니다. 점진적으로 트래픽을 할당할 수 있는 기능입니다.

A/B 테스트가 시작되면, 무작위로 사용자를 각 그룹으로 분배하고, 사용자의 데이터를 수집해서 목표로 설정한 값과 통계적으로 분석한 정보를 함께 제공합니다. 데이터 분석가가 따로 시간 들이지 않고, A/B 테스트의 성공 목표로 설정한 지표들의 결과 값을 최대 1시간 이내에 받아볼 수 있습니다.

4) 핵클은 다른 A/B 테스트 플랫폼과 비교해 어떤 장점이 있나요?

첫 번째로, 핵클은 다양한 SDK를 지원하기 때문에 웹사이트에 국한되지 않고 모바일 앱 혹은 서버 기반의 A/B 테스트까지 진행할 수 있습니다. Android, iOS, JavaScript, React 등 10가지의 SDK를 제공하고 있습니다.

두 번째로, 핵클은 A/B 테스트가 서비스에 반영되는 속도가 실시간에 가깝습니다. 가령 구글 Optimize에서는 A/B 테스트를 시작했는데 서비스에 반영되기까지 몇 시간 이상 걸리는 경우도 있습니다.

세 번째로, 핵클은 A/B 테스트 결과를 1시간 단위로 업데이트해서 제공합니다. 구글 Optimize는 GA에서 하루전 까지 취합된 데이터를 기반으로 A/B 테스트 결과를 계산하기에 현 시점까지의 테스트 결과를 빠른 시간내에 확인하기 어렵습니다.

네 번째로, 핵클에서는 측정하고자 하는 목표를 자유롭게 생성할 수 있습니다. 서비스 도메인에 관계없이 원하는 목표를 생성하고 측정할 수 있습니다.

마지막으로, 핵클은 가장 합리적인 가격으로 이용할 수 있는 A/B 테스트 플랫폼입니다. 유료로 제공되는 Optimizely나 구글의 Optimize 360은 연간 비용이 최소 수천만원 수준으로 알려져 있습니다.

자세한 내용은 Google Optimize, Firebase A/B Testing 서비스와 Optimizely를 핵클과 비교하여 정리한 문서를 참고해주세요.

2. A/B 테스트 관련 질문

1) 어느 정도의 사용자가 있으면 A/B 테스트를 할 수 있을까요?

A/B 테스트를 하기 위한 적정 사용자 수는 없지만 일 트래픽이 100명 이상이라면 좋습니다. 충분한 사용자가 있다면 A/B 테스트에서 더욱 빨리 테스트 결과를 얻을 가능성이 높아지지만, 사용자가 적을수록 파급력이 큰 요소를 바꿀때 A/B 테스트를 통해 검증해보는 것이 중요합니다.

2) 통계적인 지식이 없어도 A/B 테스트를 할 수 있을까요?

통계적인 지식이 없어도 A/B 테스트를 할 수 있습니다. 핵클에서는 A/B 테스트를 통해 특정 버튼/배너의 클릭율이나, 구매전환율과 같은 지표의 결과값이 통계적으로 유의미한지에 대한 정보를 시각적으로 확인할 수 있도록 제공하고 있습니다.

A/B 테스트 관련 raw data를 추출하여 추가적인 분석을 진행하는 경우 통계적인 지식이 있다면 도움이 될 수 있습니다.

3) A/B 테스트 결과를 분석할 때, 어떤 점을 유의해야 하나요?

요일 영향도로 인한 테스트 결과 왜곡을 방지하기 위해 최소 1주일에서 2주일의 테스트 기간이 필요합니다. 테스트 기간이 짧은 상황에서 일시적으로 결과가 좋거나 안좋게 나타났을때 테스트를 종료하게 되는 경우를 유의해야 합니다.

테스트를 조기에 종료하는 것은 테스트의 결론으로 왜곡된 정보를 인지하게 될 수 있다는 위험이 있습니다. 그래서 최소로 정해둔 기간(예를 들어 1주일) 동안은 테스트를 지켜보는 것을 권장하고 있습니다.

4) 마케팅 A/B 테스트와 제품 A/B 테스트의 차이가 궁금합니다.

마케팅적인 관점에서 사용자 유입 채널로 활용되는 랜딩페이지, 앱 푸쉬메시지 등의 성과를 극대화하기 위해 진행하는 실험을 마케팅 A/B 테스트라 합니다. 주로 ‘클릭율’이라는 하나의 명확한 성공 목표를 가지고 있기 때문에, MAB와 같은 기법 또한 마케팅 A/B 테스트에는 유용하게 활용됩니다.

제품 A/B 테스트는 제공하고 계신 웹사이트나 모바일 앱에서 비즈니스 목표를 극대화하기 위해 어떤 화면, 알고리즘, 기능이 유저들에게 효과적으로 작용하는지를 실험하는 것을 의미합니다.

5) 연동 등 개발 관련 문의는 어떻게 하면 되나요?

우선 본 사용자 가이드 SDK 카테고리에 있는 자주 묻는 질문 및 문제 해결 문서에서 해결하고자 하는 문제가 있는지 확인해보시기 바랍니다.
그래도 해결되지 않는 궁금증에 대해서는 핵클 대시보드에 안내된 문의처를 이용해주시기 바랍니다.

6) 똑같은 지표인데, A/B Test 와 데이터 분석에서 다른 값이 나옵니다.

A/B Test 와 데이터 분석에서 동일한 지표인데 다른 값이 나오는 경우가 있습니다.

기본적으로 A/B Test 는 설정한 유저들에게, 특정 시점에 다른 내용을 보여주기 위해 분배하고, 그 시점 이후 “분모 이벤트” 발생한 유저 중 “분자 이벤트” 발생을 계산합니다. 즉, 전후관계가 있는 로직이기 때문에 분모부터 0이라면, 당연히 값이 0으로 나오게 됩니다.

앞서 말한 것 처럼 A/B Test 는 분배 시점 기준으로 전후 관계에 따라 발생한 이벤트를 계산하지만, 데이터 분석에서는 사용자가 선택하는 이벤트의 순수 발생 여부만 계산하여 보여줍니다. 즉, 이벤트의 특정 시점 혹은 분모/분자의 전후 관계와 상관없이 ‘발생 여부’ 만을 계산하는 것이기 때문에 데이터 분석에서는 값이 나오는 게 맞습니다.

즉, 2가지 기능은 집계 시점이 다르기 때문에 상이하게 나올 수 있습니다.

데이터 분석 관련 질문

1) 퍼널 그래프의 데이터 집계 기준이 궁금합니다.

퍼널 그래프를 생성하고, 기간은 1일 / 3일 / 7일로 다르게 설정했을 때, 3일 값이 1일*3 과 다르게 나오는 경우가 있습니다. 퍼널 그래프는 Unique ID 를 기준으로 집계되기 때문에 일별 합산이 아닙니다.

즉, 3일 동안 해당 이벤트를 발생시킨 unique id 가 집계되고, 아래 예시처럼 생각해주시면 됩니다.

day 1 = 10 명
- 유저 1, 유저 2, …. 유저 10 이벤트 발생
day 3 = 6 명
- 유저 1 = day 1 에 발생 => 1로 카운트
- 유저 2 = day 1, day 2 에 발생 => 1로 카운트
- 유저 3 = day 3에 발생 => 1로 카운트
- 유저 4 = day 1, day2, day3에 발생 => 1로 카운트