자주 묻는 질문

1. 핵클 A/B 테스트 플랫폼 관련 질문

1) 핵클 A/B 테스트 플랫폼으로는 어떤 A/B 테스트를 할 수 있나요?

핵클은 모바일 앱, 웹 사이트에서의 화면 변경 혹은 서버에서 제공하는 API를 변경하기 위한 A/B 테스트를 모두 지원합니다. 화면 변경, 신규 기능 출시, 알고리즘 변경과 같은 서버/클라이언트 기반의 A/B 테스트가 가능합니다.

2) 핵클 A/B 테스트 플랫폼을 이용하는 기업에는 어떤 곳들이 있나요?

개발팀의 규모에 관계없이, 제공하는 서비스의 유형에 관계없이 다양한 테크기업이 핵클을 이용하고 있습니다.

핵클 A/B 테스트 플랫폼을 이용하여 데이터 기반의 제품 개발을 활발히 진행하고 있는 기업으로는 네이버제트(제페토), 펫프랜즈(쇼핑몰), 스파르타코딩클럽(코딩교육) 등이 있습니다.

3) 핵클에서 제공하는 기능에는 어떤 것이 있나요?

핵클에서 제공하는 SDK를 이용하여 핵클 플랫폼과 연동 작업을 완료하면 이후에는 코드 작업 없이 A/B 테스트를 쉽게 켜고 끌 수 있습니다. 또한, 전체 트래픽 중 원하는 비율의 트래픽으로 A/B 테스트를 진행할 수 있습니다. 점진적으로 트래픽을 할당할 수 있는 기능입니다.

A/B 테스트가 시작되면, 무작위로 사용자를 각 그룹으로 분배하고, 사용자의 데이터를 수집해서 목표로 설정한 값과 통계적으로 분석한 정보를 함께 제공합니다. 데이터 분석가가 따로 시간 들이지 않고, A/B 테스트의 성공 목표로 설정한 지표들의 결과 값을 최대 1시간 이내에 받아볼 수 있습니다.

4) 핵클은 다른 A/B 테스트 플랫폼과 비교해 어떤 장점이 있나요?

첫 번째로, 핵클은 다양한 SDK를 지원하기 때문에 웹사이트에 국한되지 않고 모바일 앱 혹은 서버 기반의 A/B 테스트까지 진행할 수 있습니다. Android, iOS, JavaScript, React 등 10가지의 SDK를 제공하고 있습니다.

두 번째로, 핵클은 A/B 테스트가 서비스에 반영되는 속도가 실시간에 가깝습니다. 가령 구글 Optimize에서는 A/B 테스트를 시작했는데 서비스에 반영되기까지 몇 시간 이상 걸리는 경우도 있습니다.

세 번째로, 핵클은 A/B 테스트 결과를 1시간 단위로 업데이트해서 제공합니다. 구글 Optimize는 GA에서 하루전 까지 취합된 데이터를 기반으로 A/B 테스트 결과를 계산하기에 현 시점까지의 테스트 결과를 빠른 시간내에 확인하기 어렵습니다.

네 번째로, 핵클에서는 측정하고자 하는 목표를 자유롭게 생성할 수 있습니다. 서비스 도메인에 관계없이 원하는 목표를 생성하고 측정할 수 있습니다.

마지막으로, 핵클은 가장 합리적인 가격으로 이용할 수 있는 A/B 테스트 플랫폼입니다. 유료로 제공되는 Optimizely나 구글의 Optimize 360은 연간 비용이 최소 수천만원 수준으로 알려져 있습니다.

자세한 내용은 Google Optimize, Firebase A/B Testing 서비스와 Optimizely를 핵클과 비교하여 정리한 문서를 참고해주세요.

2. A/B 테스트 관련 질문

1) 어느 정도의 사용자가 있으면 A/B 테스트를 할 수 있을까요?

A/B 테스트를 하기 위한 적정 사용자 수는 없지만 일 트래픽이 100명 이상이라면 좋습니다. 충분한 사용자가 있다면 A/B 테스트에서 더욱 빨리 테스트 결과를 얻을 가능성이 높아지지만, 사용자가 적을수록 파급력이 큰 요소를 바꿀때 A/B 테스트를 통해 검증해보는 것이 중요합니다.

2) 통계적인 지식이 없어도 A/B 테스트를 할 수 있을까요?

통계적인 지식이 없어도 A/B 테스트를 할 수 있습니다. 핵클에서는 A/B 테스트를 통해 특정 버튼/배너의 클릭율이나, 구매전환율과 같은 지표의 결과값이 통계적으로 유의미한지에 대한 정보를 시각적으로 확인할 수 있도록 제공하고 있습니다.

A/B 테스트 관련 raw data를 추출하여 추가적인 분석을 진행하는 경우 통계적인 지식이 있다면 도움이 될 수 있습니다.

3) A/B 테스트 결과를 분석할 때, 어떤 점을 유의해야 하나요?

요일 영향도로 인한 테스트 결과 왜곡을 방지하기 위해 최소 1주일에서 2주일의 테스트 기간이 필요합니다. 테스트 기간이 짧은 상황에서 일시적으로 결과가 좋거나 안좋게 나타났을때 테스트를 종료하게 되는 경우를 유의해야 합니다.

테스트를 조기에 종료하는 것은 테스트의 결론으로 왜곡된 정보를 인지하게 될 수 있다는 위험이 있습니다. 그래서 최소로 정해둔 기간(예를 들어 1주일) 동안은 테스트를 지켜보는 것을 권장하고 있습니다.

4) 마케팅 A/B 테스트와 제품 A/B 테스트의 차이가 궁금합니다.

마케팅적인 관점에서 사용자 유입 채널로 활용되는 랜딩페이지, 앱 푸쉬메시지 등의 성과를 극대화하기 위해 진행하는 실험을 마케팅 A/B 테스트라 합니다. 주로 ‘클릭율’이라는 하나의 명확한 성공 목표를 가지고 있기 때문에, MAB와 같은 기법 또한 마케팅 A/B 테스트에는 유용하게 활용됩니다.

제품 A/B 테스트는 제공하고 계신 웹사이트나 모바일 앱에서 비즈니스 목표를 극대화하기 위해 어떤 화면, 알고리즘, 기능이 유저들에게 효과적으로 작용하는지를 실험하는 것을 의미합니다.

5) 연동 등 개발 관련 문의는 어떻게 하면 되나요?

우선 본 사용자 가이드 SDK 카테고리에 있는 자주 묻는 질문문제 해결 문서에서 해결하고자 하는 문제가 있는지 확인해보시기 바랍니다.
그래도 해결되지 않는 궁금증에 대해서는 핵클 대시보드에 안내된 문의처를 이용해주시기 바랍니다.


Did this page help you?