MAB 테스트 vs. A/B 테스트

개요

A/B 테스트는 일정기간동안 통제된 환경하에서 각 그룹별로 고정된 트래픽을 할당하고, 그룹 간 성과를 비교하여 의사결정을 수행하는 실험 방식입니다. 이와 비교하였을 때, MAB (Multi-Armed Bandit) 테스트는 그룹별 트래픽을 자동으로 조정하여 성공지표를 가장 극대화할 수 있는 방향으로 진행되는 실험 방식입니다.

MAB 테스트는 일반적인 A/B 테스트 진행기간 (약 1~2주 권장) 보다 상대적으로 짧은 기간의 성공지표 결과 값을 기준으로 그룹별 트래픽 분배를 조정하기 때문에, 표본이 충분치 않을 수 있다는 제약사항을 감안해야 합니다. 또한, 1가지의 성공지표를 기준으로 트래픽 분배가 결정되기 때문에 여러 지표를 감안한 의사결정과 차이가 발생할 수 있습니다.

활용방법

MAB 테스트는 1가지의 명확한 성공지표를 설정할 수 있고, 단기간 내에 최적의 옵션을 확인하여 보다 많은 유저에게 이를 노출하고자 할 때 사용하는 것을 권장합니다. 주로, 서비스 내의 전시영역 (예: 홈 화면 배너, 추천상품 캐로셀 등) 에서 진행되는 실험을 MAB 테스트로 진행할 수 있습니다. 배너 클릭, 상품 클릭과 같이 목표로 하는 사용자 행동이 명확하고, 해당 변경사항을 출시하기 위해 성공지표와 다른 지표간의 trade-off(예: 성공지표는 10% 증가하였으나 지표 Y는 9% 하락) 를 고려하여 의사결정이 이루어져야하는 가능성이 일반적으로는 낮다고 보기 때문입니다.

► A/B 테스트 생성방법 알아보기: 새 A/B 테스트 생성하기

► MAB 테스트 생성방법 알아보기: MAB 테스트 생성하기