MAB 테스트 vs. A/B 테스트

개요

A/B 테스트는 일정기간동안 통제된 환경하에서 각 그룹별로 고정된 트래픽을 할당하고, 그룹 간 성과를 비교하여 의사결정을 수행하는 실험 방식입니다. 이와 비교하였을 때, MAB (Multi-Armed Bandit) 테스트는 그룹별 트래픽을 자동으로 조정하여 성공지표를 가장 극대화할 수 있는 방향으로 진행되는 실험 방식입니다.

MAB 테스트는 일반적인 A/B 테스트 진행기간 (약 1~2주 권장) 보다 상대적으로 짧은 기간의 성공지표 결과 값을 기준으로 그룹별 트래픽 분배를 조정하기 때문에, 표본이 충분치 않을 수 있다는 제약사항을 감안해야 합니다. 또한, 1가지의 성공지표를 기준으로 트래픽 분배가 결정되기 때문에 여러 지표를 감안한 의사결정과 차이가 발생할 수 있습니다.

MAB와 A/B 테스트는 어떻게 다른가요?

A/B 테스트는 일정 기간 동안 여러 목표 지표와 이들의 통계 값인 p-value 또는 Bayesian 확률을 수집해 분석(해석)과정을 거쳐 의사 결정을 내리는데, MAB는 한가지 성공 지표 (전환율, CTR 등) 를 최대화하는 것에만 관심이 있어 이를 극대화 하기 위해 트래픽을 자동으로 조정하므로 분석(해석) 과정이 없습니다. MAB의 주요 목표는 "어떤 테스트 그룹이 가장 큰 보상( = 성공 지표 최적화)을 보여줍니까?"라고 답하는 것입니다.
MAB의 경우 통제 그룹이 필요 없습니다. 그렇기 때문에 p-value와 같은 통계 값 또는 A 그룹 보다 우수할 확률을 제공하지 않습니다.
MAB는 변경 사항이 영구적이지 않은, 짧고 일시적인 경험을 위한 전환을 극대화하는 데 적합합니다(ex. 프로모션 제안, 헤드라인 테스트, 웨비나 등록 페이지 등). 또는 검색 및 추천 로직 같은 알고리즘 테스트와 같이 지속적인 최적화가 필요한 경우 활용하는 것을 추천합니다.

활용방법

MAB 테스트는 1가지의 명확한 성공지표를 설정할 수 있고, 단기간 내에 최적의 옵션을 확인하여 보다 많은 유저에게 이를 노출하고자 할 때 사용하는 것을 권장합니다. 주로, 서비스 내의 전시영역 (예: 홈 화면 배너, 추천상품 캐로셀 등) 에서 진행되는 실험을 MAB 테스트로 진행할 수 있습니다. 배너 클릭, 상품 클릭과 같이 목표로 하는 사용자 행동이 명확하고, 해당 변경사항을 출시하기 위해 성공지표와 다른 지표간의 trade-off(예: 성공지표는 10% 증가하였으나 지표 Y는 9% 하락) 를 고려하여 의사결정이 이루어져야하는 가능성이 일반적으로는 낮다고 보기 때문입니다.

► A/B 테스트 생성방법 알아보기: 새 A/B 테스트 생성하기

► MAB 테스트 생성방법 알아보기: MAB 테스트 생성하기