[아티클 스터디] 알라미의 A/B 테스팅 일지

 

 

알라미

 

✅읽은 아티클

알라미의 A/B 테스팅 일지 #1

 

알라미의 기능들

 

1. 진행한 테스트

테스트1. 앱 등록정보 A/B 테스팅(Store listing experiments)

(1) 그래픽 이미지: 슬로건을 현지화한 경우는 결과가 좋지 않았음.

 

(2) 간단한 설명: 대상 고객 정의를 적어두면 “이건 바로 나” 라고 생각하고 다운로드율이 증가할 것이다.

→ ‘기존 알람으로 잘 일어나지 못하는 사람’이다.

 

(3) 자세한 설명: 사진으로 알람해제 모드를 첫 줄에 소개하면(신기해서) 다운로드율이 증가할 것이다.

→ 생각보다 많은 개선이 일어났다.

 

(4) 캡쳐화면: 변기 이미지를 세면대로 변경하면 다운로드가 늘 것이다.

• 여러 가설을 세워 꾸준히 스토어 등록정보 A/B 테스팅을 하다 보면 스토어 획득률을 개선시킬 수 있음

 

테스트 2. 전환 문구 A/B 테스팅

• 주어진 추천앱 중에서 하나를 받으면 30일간 프로버전으로 업그레이드를 해주는 보상형 광고 진행 
  • 30일 / 60일 /100일로 보상의 기준을 분류함
  → 100일의 경우 60일보다 효율이 좋지 않았음. 보상이 너무 커서 희소성이 떨어짐(싼게 비지떡 효과)
  • 보상을 30일에서 60일로 변경하여 전환율을 1.5배 개선함.
  • 추천앱 리스트가 5개인 것보다 3개인 것이 효율이 높았고, 단가가 가장 높은 것을 첫 번째에 배치하고 ‘좋아요’배지를 다는 것으로도 효율을 높일 수 있음.

 

2. A/B 테스트 시 주의할 점

(1) 제한된 리소스: 스타트업의 경우 리소스가 제한되어 있기 때문에 A/B 테스팅이 가져올 파급력을 고려해야 함

• 정말 될 법한 가설을 세우고 제한된 리소스 내에서 해당 A/B 테스팅을 진행할 가치가 있는 지를 고민 - 사용자를 잘 이해하는 것이 중요하다.

(2) 기간으로 비교한 A/B 테스트

• 아무것도 하지 않아도 외부요인으로 인해 큰 차이가 날 수 있음. 외부 요인에 의해 방문자의 성향은 시시각각 달라질 수 있음.
• 적절한 모수: 리소스가 부족한 스타트업에서는 몇 퍼센트의 개선에 집착하는 것보다 사용자들이 이미 겪고 있는 불편함이나 개선점에 신경을 쓰는 것이 효과적이다.

(3) 적절한 모수: 모수가 충분해야 통계적으로 유의미한 지 결정을 내릴 수 있다.

 

 

3. 참고사항

• A/B 테스팅 사례를 보면, 많은 테스트 중에 겨우 몇 개만 건지는 경우가 대부분이다.
• 좋은 가설을 세우고 A/B테스팅의 파급력을 고려하여 진행하는 것을 추천

---

4. 용어 정리

• 선택의 역설: 선택 사항이 많을 수록 인간은 행복감을 더 느끼고, 선호한다. 실제 구매행동은 그렇지 않다. 선택사항이 많다는 것은 소비자에게 고려할 것이 많아지고 소비의 과정에서 옵션들을 비교하며 최선의 선택을 하는 것이 상당한 인지적 부하를 일으킨다.

 

• CPI(Cost Per Install): 광고비 / 설치수, 마케터가 새로운 사용자를 확보하기 위해 하나의 앱을 설치하는 데 지불해야 하는 비용. (Cost Per Action)과 같은 KPI를 보조하는 역할로 사용되고 있음.

앱 마케팅의 기본, KPI와 CPI 이해하기

 

---

 

5. 인사이트 

(1) 개인 인사이트

• 다양한 상황을 세워놓고 A/B 테스트를 하다보면 별도의 마케팅 활동을 하지 않아도 유저 획득률을 높일 수 있다는 것이 신기했음.
• 이 결과가 객관적으로 유의미한 지 파악하기 위해 통계학적 지식이 동반되어야 할 것 같음
• (질문) 좋은 가설은 무엇인가?

#7. 좋은 가설의 조건

 

 

 

 

(2) 팀 인사이트

다양한 상황에서 A/B 테스트가 활용될 수 있다는 사실을 알게 되었다. 별도의 마케팅 활동을 하지 않아도 유저 획득율을 높일 수 있는 장점을 가진 것으로 보이나, 외부 요인이 주는 영향을 철저하게 통제한 상태에서 진행하기 쉽지 않기 때문에 그 변환의 원인이 A/B 테스트가 미친 영향이 맞는지 판단하는 것이 중요한 것 같다. 또한 효과적인 A/B 테스팅을 위해 충분한 리소스가 있는지, 소비자에 대한 이해를 기반한 적절한 가설을 세운 것인지, 진행할 가치가 있는지 등을 논의하고 수행하는 것이 필요하다고 생각한다.