๋ฆฌํ…์…˜

๐Ÿšง

๋ฐ์ดํ„ฐ ๋ถ„์„ ํƒญ์€ ์šด์˜ ํ™˜๊ฒฝ์—์„œ๋งŒ ์ง„์ž… ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

๋ฆฌํ…์…˜์— ๋Œ€ํ•˜์—ฌ

ํ•ตํด์˜ A/B ํ…Œ์ŠคํŠธ ๋ฆฌํ…์…˜ ๊ธฐ๋Šฅ์€ A/B ํ…Œ์ŠคํŠธ๊ฐ€ ์ง„ํ–‰๋˜๋Š” ๋™์•ˆ, ํ…Œ์ŠคํŠธ์— ๋…ธ์ถœ๋œ ์‚ฌ์šฉ์ž ๊ทธ๋ฃน๋ณ„๋กœ ์ œํ’ˆ์— ๋‹ค์‹œ ๋“ค์–ด์˜ค๋Š”์ง€๋ฅผ ๋ฆฌํ…์…˜ ์ฐจํŠธ๋กœ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์™€ ๋”๋ถˆ์–ด ๋Œ€์กฐ๊ตฐ(๊ทธ๋ฃน A) ๋Œ€๋น„ ์‹คํ—˜๊ตฐ(๊ทธ๋ฃน B)์˜ ๊ฐœ์„ ์œจ, p-value๊นŒ์ง€ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ์–ด, ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ์˜์‚ฌ๊ฒฐ์ •์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฆฌํ…์…˜ ๋ถ„์„ ์ฐจํŠธ ํ™•์ธ

A/B ํ…Œ์ŠคํŠธ ์‹œ์ž‘ ํ˜น์€ ์ƒˆ๋กœ์šด ๋ฆฌํ…์…˜ ์ƒ์„ฑ ํ›„ ์ตœ๋Œ€ 1์‹œ๊ฐ„ ์•ˆ์— ๊ฒฐ๊ณผ ๋ฐ์ดํ„ฐ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ๊ณ , ์ดํ›„ ํ•˜๋ฃจ ๋‹จ์œ„๋กœ ๋ฐ์ดํ„ฐ๊ฐ€ ์—…๋ฐ์ดํŠธ ๋ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘์€ A/B ํ…Œ์ŠคํŠธ ์‹œ์ž‘ ํ›„ ์ตœ๋Œ€ 30์ผ๊นŒ์ง€ ์ˆ˜์ง‘๋˜๋ฉฐ, A/B ํ…Œ์ŠคํŠธ ์ข…๋ฃŒ ์‹œ ์ค‘๋‹จ๋ฉ๋‹ˆ๋‹ค.

1500
  1. ๊ธฐ๊ฐ„ ๋‹จ์œ„ : ์„ค์ •ํ•œ ๋ฆฌํ…์…˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ผ๋ณ„/์ฃผ๋ณ„๋กœ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Day0 : ์‹œ์ž‘ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ๋‚ (Day0)์— ๋ชฉํ‘œ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ์‚ฌ์šฉ์ž์˜ ์ˆ˜์™€ ๋น„์œจ.
  • Week0 : ์‹œ์ž‘ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ์ฃผ(Week0)์— ๋ชฉํ‘œ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ์‚ฌ์šฉ์ž์˜ ์ˆ˜์™€ ๋น„์œจ.
  1. ์ค‘๋ณต ์‚ฌ์šฉ์ž ์ œ์™ธํ•˜๊ธฐ : ํ•ด๋‹น ์„ค์ •์„ ํ†ตํ•ด ๋™์ผํ•œ ์‚ฌ์šฉ์ž๊ฐ€ ์‹œ์ž‘ ์ด๋ฒคํŠธ๋ฅผ ์—ฌ๋Ÿฌ ๊ธฐ๊ฐ„(์ผ ํ˜น์€ ์ฃผ)์— ๋ฐœ์ƒ์‹œ์ผฐ์„ ๋•Œ ๊ณ„์‚ฐํ•  ๋ฐฉ์‹์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ œ์™ธํ•  ๊ฒฝ์šฐ : ์ฒซ ๋ฒˆ์งธ ์‹œ์ž‘ ์ด๋ฒคํŠธ๊ฐ€ ๋ฐœ์ƒํ•œ ๊ธฐ๊ฐ„(์ผ ํ˜น์€ ์ฃผ)์—๋งŒ ์ง‘๊ณ„๋ฉ๋‹ˆ๋‹ค.
  • ์ œ์™ธํ•˜์ง€ ์•Š์„ ๊ฒฝ์šฐ : ์‹œ์ž‘ ์ด๋ฒคํŠธ๊ฐ€ ๋ฐœ์ƒํ•œ ๋ชจ๋“  ๊ธฐ๊ฐ„(์ผ ํ˜น์€ ์ฃผ)๋งˆ๋‹ค ๋ชจ๋‘ ์ง‘๊ณ„๋ฉ๋‹ˆ๋‹ค.
1500
  1. ์‚ฌ์šฉ์ž ์ˆ˜ : ํ•ด๋‹น ํ…Œ์ŠคํŠธ ๊ทธ๋ฃน์˜ ์„ค์ •ํ•œ ์‹œ์ž‘ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ๊ณ ์œ  ์‚ฌ์šฉ์ž ์ˆ˜๋ฅผ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.
  2. ๋ฆฌํ…์…˜ : ์„ค์ •ํ•œ ๊ธฐ๊ฐ„๋‹จ์œ„ ๊ธฐ์ค€์œผ๋กœ ๊ทธ๋ฃน๋ณ„ ๋ฆฌํ…์…˜๊ณผ ์‚ฌ์šฉ์ž ์ˆ˜๋ฅผ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฃน๋ณ„ ๋ฆฌํ…์…˜์€ ์‹œ์ž‘ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ์‚ฌ์šฉ์ž ์ค‘ ๋ชฉํ‘œ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ์‚ฌ์šฉ์ž์˜ ๋น„์ค‘์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.
  3. ์‚ฌ์šฉ์ž ์ˆ˜ : ํ•ด๋‹น ํ…Œ์ŠคํŠธ ๊ทธ๋ฃน์˜ ์‚ฌ์šฉ์ž๊ฐ€ ๊ฐ ๊ธฐ๊ฐ„์— ๋ชฉํ‘œ ์ด๋ฒคํŠธ๋ฅผ ๋ฐœ์ƒ์‹œํ‚จ ์‚ฌ์šฉ์ž ์ˆ˜๋ฅผ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.
  4. ๊ทธ๋ฃน A ๋Œ€๋น„ ๊ฐœ์„ ์œจ : ๋Œ€์กฐ๊ตฐ(๊ทธ๋ฃน A)์˜ ๋ฆฌํ…์…˜์€ ๋Œ€๋น„ ์‹คํ—˜๊ตฐ(๊ทธ๋ฃน B) ๋ฆฌํ…์…˜์˜ ์ƒ๋Œ€์ ์ธ ์ฐจ์ด๋ฅผ ๊ณ„์‚ฐํ•œ ๊ฐ’์ž…๋‹ˆ๋‹ค. ๊ด„ํ˜ธ์•ˆ์—๋Š” ์ ˆ๋Œ€๊ฐ’์ด ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค. Day1์˜ ๊ฒฝ์šฐ ์‹คํ—˜๊ตฐ(๊ทธ๋ฃน B)๊ฐ€ ๋Œ€์กฐ๊ตฐ(๊ทธ๋ฃน A)๋ณด๋‹ค 17๋ช…์ด ๋” ์ž”์กดํ•˜์—ฌ, ๋ฆฌํ…์…˜์ด 98.4% ์ฆ๊ฐ€ํ•œ ๊ฒƒ์œผ๋กœ ํ•ด์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฆฌํ…์…˜์˜ ์ฆ๊ฐ€ ํ˜น์€ ๊ฐ์†Œ ์—ฌ๋ถ€์— ๋”ฐ๋ผ ์ˆซ์ž ์•ž์— +๋‚˜ -๊ฐ€ ํ‘œ์‹œ๋˜๊ณ , ์ฆ๊ฐ์ด ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒฝ์šฐ ๊ฐ๊ฐ ์ดˆ๋ก์ƒ‰, ๋นจ๊ฐ„์ƒ‰์œผ๋กœ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.
  5. p-value : A/B ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ์˜ ์‹ ๋ขฐ๋„๋ฅผ ํ‘œํ˜„ํ•˜๋Š” ๊ฐ’์œผ๋กœ, p-value ๊ฐ’์ด ๋‚ฎ์„์ˆ˜๋ก ์‹ ๋ขฐ๋„๊ฐ€ ๋†’๋‹ค๊ณ  ํŒ๋‹จํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. p-value๊ฐ€ 0.05 ๋ฏธ๋งŒ์ธ ๊ฒฝ์šฐ ๊ทธ๋ฃน A๋Œ€๋น„ ๊ฐœ์„ ์œจ์ด ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒƒ์œผ๋กœ ํ•ด์„ํ•˜๊ณ , p-value๊ฐ€ 0.05 ์ด์ƒ์ธ ๊ฒฝ์šฐ ๊ทธ๋ฃน A ๋Œ€๋น„ ๊ฐœ์„ ์œจ์ด ํ†ต๊ณ„์ ์œผ๋กœ ๋ฌด์˜๋ฏธํ•œ ๊ฒƒ์œผ๋กœ ํ•ด์„ํ•ฉ๋‹ˆ๋‹ค.
1550

์‹œ๊ฐํ™”๋œ ๊ทธ๋ž˜ํ”„๋กœ ๋ฐ์ดํ„ฐ์˜ ์ถ”์ด๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜ํ”„์— ๋งˆ์šฐ์Šค๋ฅผ ๊ฐ–๋‹ค๋Œ€์–ด ํ•ด๋‹น ๋‚ ์งœ์˜ ๊ทธ๋ฃน๋ณ„ ๋ฆฌํ…์…˜๊ณผ ๊ทธ๋ฃน A ๋Œ€๋น„ ๊ฐœ์„ ์œจ, p-value๋ฅผ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.