기능 플래그 데이터 분석

기능 플래그 상세 화면의 '데이터 분석' 탭은 기존 기능을 제공받은 사용자 그룹과 새로운 기능을 제공받은 사용자 그룹 간의 차이를 비교 확인할 수 있는 곳입니다.

해당 기능의 주된 목적은 기능 플래그를 통해 새로운 기능에 노출된 사용자들이 기존 기능에 노출된 사용자 대비 부정적인 영향을 받는 경우가 있는지를 확인하는 것이며, 문제가 있는 경우 기능플래그를 Off (꺼짐) 처리하고 그렇지 않은 경우 점진적으로 새로운 기능에 더 많은 트래픽을 할당하도록 하는 가이드 역할을 할 수 있습니다.

'데이터 분석' 탭 화면은 아래 이미지와 같이 구성되어 있습니다.

이벤트 선택

'이벤트 설정하기' 버튼을 클릭하면 아래 이미지와 같은 모달을 확인할 수 있습니다. 모달에서 데이터 분석이 필요한 이벤트를 선택하여 '저장하기' 를 클릭합니다.

선택된 이벤트에 대해서는 전환율, 평균횟수 지표를 계산합니다. 새로운 기능 (True, 켜짐(On)) 에 노출된 사용자 그룹과 기존 기능 (False, 꺼짐(Off)) 에 노출된 사용자 그룹에 대한 지표 분석 결과가 제공됩니다.

데이터 분석 탭 상세

버전

기본적으로 기능 플래그 버전 단위로 '데이터 분석' 탭의 분석 결과가 제공됩니다. 기능 플래그의 버전은 타겟팅 조건에 변경이 발생하는 경우 변경됩니다. (예: 버전1 → 버전2)

기능 플래그의 타겟팅 조건 변경에 해당되는 경우는 다음과 같습니다.

• 기능 플래그 상태 (On, Off) 변경
• 기능 플래그 > 사용자 타겟팅 > 규칙 변경 (트래픽 분배비율 변경 포함)

개선율

그래프 상에 선택된 지표에 대해 새로운 기능 (True, 켜짐(On)) 에 노출된 사용자 그룹이 기존 기능 (False, 꺼짐(Off)) 에 노출된 사용자 그룹 대비 얼마나 개선이 되었는지를 확인할 수 있습니다.

버전1 부터 마지막 버전까지의 데이터를 그래프 상에서 한번에 확인할 수 있습니다. (아래 이미지)

• Select Box: 전환율 지표, 평균횟수 지표 중 하나를 선택할 수 있습니다.
• 누적 picker: 기능 플래그 버전별 시작시점부터 계산시점까지의 데이터를 기반으로 계산된 개선율을 확인할 수 있습니다.
• 일별 picker: 기능 플래그 버전별 시작시점부터 일 단위의 데이터를 기반으로 계산된 개선율을 확인할 수 있습니다.

지표 분석 결과

'데이터 분석' 탭에서 계산되는 모든 지표에 대한 계산 결과를 표 형태로 확인할 수 있습니다.

상단의 '개선율' 그래프 영역에서는 개선율 추이만 확인할 수 있었다면, 지표 분석 결과 표에서는 버전별 지표의 p-value 와 변화 추이를 확인할 수 있는 그래프가 추가로 제공됩니다.

기능 플래그 버전별 지표 분석 결과를 확인할 수 있으며, 표 우측 상단에 위치한 select box를 클릭하여 버전을 선택할 수 있습니다.

'그래프 보기' 버튼을 클릭하면 지표별 True(켜짐), False(꺼짐) 그룹의 지표 값과 개선율, 그리고 p-value의 추이를 확인할 수 있습니다.

📘

기능 플래그 데이터 분석 기능이 지원되는 SDK 버전