[아티클] A/B 테스트에 적정한 표본과 주의 사항

 

A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

 

1. 아티클 요약 및 주요내용

• 대체 표본, 트래픽의 크기는 매번 다르다. A안과 B안 사이의 차이가 어느 정도 되기를 기대하느냐에 따라 다름.
• 표본이 얼마나 필요한 가? = 두 방안의 결과가 몇 % 정도 차이가 날 것이라고 기대하는가?
• A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로는 유의미 할 수 있고, 표본이 작더라도 A안과 B안의 결과 차이가 크면 마찬가지로 통계적으로 유의미할 수 있다.

 

A/B테스트 시 주의사항

❌내가 미는 방안이 이길 때까지 기다리기

• 표본을 많이 모으려고 결과를 미루면, 우리의 원래 목표인 ‘고객에게 더 좋은 방안을 제공하기’는 뒷전이 되고, 그 과정에서 비즈니스의 리소스를 효율적으로 활용하는 것도 놓치게 됨

❌ 내가 미는 방안이 지기 전에 그만두기

• 트래픽이 쌓일 수록 내가 설계한 방안이 질 것 같아보이면 실험을 조기에 종류하는 것도 의도적인 오류이다.

❌ A안과 B안을 다른 날짜에 시작하기

• A/B테스트는 동시간대에 실험을 시작하는 것이 중요함. 같은 시간에 실험을 시작해야 결과의 차이를 설명할 수 있다. 같은 환경에서 서로 다른 방안을 비교해야 한다.

 

2. 인사이트

• A안과 B안 중 결과가 얼마나 차이날 것인가는 담당자의 추측, 자신감, 이전의 경험을 바탕으로 추측할 수 있음. A안과 B안 사이의 차이가 어느 정도 되기를 기대하느냐에 따라 대체 표본, 트래픽의 크기는 매번 다르다.
• 내가 설계한 방안의 성과를 부풀리기 위해 의도적으로 또는 무의식적으로 실험의 설계를 조작해서는 안된다. 뭔가 나도 그럴 수 있겠구나 하는 생각이 들었음. 내부적으로 좋은 고과를 받기 위해서..임시방편…
• 고객에게 확실하게, 유의미하게, 더 나은 방안을 제공하고 이를 통해 서비스를 개선하려는 게 담당자가 가져야 하는 목표

 

3. 팀 내 공통 인사이트

A/B 테스트의 유의미한 결과를 도출하기 위해서는 적절한 표본 크기 설정, 동일한 테스트 기간 유지 등의 조건이 필요하다. 또한 설계자의 주관적인 판단과 지식도 테스트의 결과에 영향을 미치기 때문에 의도적으로 테스트를 설계하는 것을 지양해야 하며, 고객에게 더 나은 방안을 제공하기 위한 마인드로 서비스 개선을 목적으로 하는 것이 담당자의 역할이다.