[팀아티클] A/B테스트 제대로 이해하기 3, 4

[250408] 선정 아티클 : A/B 테스트 제대로 이해하기 ③ A/B 테스트 계산기의 세팅과 해석

A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT

• 아티클 요약
  
  • 1. A/B 테스트 계산기 활용 A/B 테스트를 위한 솔루션을 사용하지 않는 경우, 무료로 제공되는 웹 기반 계산기를 활용할 수 있습니다. 대표적인 사이트로 AB Testguide가 있으며, 간단한 숫자 입력만으로 유의미한 결과를 확인할 수 있다
  • 2. 주요 설정 항목 AB Testguide에서는 다음과 같은 설정을 통해 실험을 진행할 수 있다:
    • Test Data: 각 그룹의 표본 크기와 전환된 숫자를 입력
    • Settings-Hypothesis: 단측 검정(한쪽이 우세하다고 가정) 또는 양측 검정(어느 쪽이 우세할지 모름) 선택
      • 보통 양측 검정을 진행하는게 보수적이고 안전한 접근
    • Settings-Confidence: 신뢰 수준(보통 95%) 설정
  • 3. 결과 해석 실험 결과가 Significant!로 표시되면 유의미한 차이가 있다는 뜻이고, Not Significant라면 차이가 없거나 표본이 부족하다는 의미.
    • P-value가 0.05 이하라면 유의미한 결과로 판단할 수 있다.
•  개인 요약
  • A/B 테스트에서 표본 크기는 결과의 신뢰도를 결정하는 중요한 요소
  • 표본이 클수록 작은 차이도 유의미하게 인정될 수 있어, 실험 결과의 정확도가 높아짐
  • →  테스트를 설계할 때 충분한 표본을 확보하는 것이 필수적

 

[250410] 선정 아티클 : A/B 테스트 제대로 이해하기 ④ A/B 테스트 표본 크기와 유의미한 결과의 관계

A/B 테스트 제대로 이해하기: 4 A/B 테스트 표본 크기와 유의미한 결과의 관계 | 요즘IT

• 아티클 요약
  
  • 표본 사이즈와 유의미한 결과와의 관계
    
    • 표본이 많으면 많을수록 그룹 A와 B의 결과 차이가 적더라도 '유의미하다'라고 인정
      • 예를 들어, 표본이 10명이라면 1~2명의 차이가 단순한 우연일 가능성이 크지만, 표본이 10,000명이라면 동일한 비율 차이가 더 신뢰할 수 있는 결과로 평가될 수 있다.
    • 통계적 신뢰도는 표본이 클수록 증가한다
      • A그룹이 100,000명 중 2,000명(2%)이 전환을 했고, B그룹이 100,000명 중 2,200명(2.2%)이 전환했다고 할 때, 두 그룹의 차이는 200명에 불과하지만 표본이 충분히 크기 때문에 통계적으로 유의미한 결과로 인정될 수 있다
    • 우리는 단순히 비율을 비교하는 것이 아니라, 그 차이가 우연이 아니라는 점을 증명하려는 것
      • 모집단 전체를 대상으로 조사하기 어렵기 때문에 더 큰 표본을 활용해 결과를 신뢰할 수 있도록 하는 것이 핵심
•  개인 요약
  • 표본이 큰 것이 결과를 도출해 내는데에 중요하다는 것을 깨달음..
  • 간소한 차이라고 무시하지 말 것 !