그로스해킹·A/B
그로스해킹·A/B 테스트
그로스는 직감이 아니라 가설 → 실험 → 검증 사이클이에요. 매주 2~3개 실험 굴리는 팀이 가장 빠르게 성장합니다.
그로스 프레임워크. AARRR
- Acquisition 신규 유입
- Activation 첫 가치 체감 (Aha)
- Retention 재방문·재사용
- Referral 추천·바이럴
- Revenue 결제·수익
본인 비즈니스의 약한 단계가 최우선 실험 영역.
실험 우선순위. ICE Score
- Impact 성공 시 효과 (1~10)
- Confidence 성공 확률 (1~10)
- Ease 실행 난이도 역수 (1~10)
ICE 합산 점수 높은 것부터 실행.
A/B 테스트 원칙
1. 통계적 유의성
- 보통 95% 신뢰도 (p < 0.05)
- 최소 샘플: 그룹당 1,000~5,000 (전환수 기준)
- 도구가 자동 계산. Optimizely·VWO·Statsig
2. 한 번에 한 변수
- 카피·이미지·색·CTA. 동시에 바꾸지 말 것
- 멀티 변수는 멀티버라이언트 테스트 (MVT)로 별도 설계
3. Adaptive sampling
- Statsig 등 최신 도구 지원
- 명백히 진 안에 트래픽 안 낭비
운영 카덴스
[월] 지난 주 실험 결과 분석 + 새 가설 백로그 [화] 가설 ICE 우선순위 + 이번 주 2
3개 실험 결정 [수목] 구현 + 런칭 [금] 모니터링 [다음 월] 결과 분석
매주 23개 × 4주 = 월 812 실험. 그 중 30~40%가 의미 있는 결과.
자주 빠지는 함정
- 샘플 부족 + 일찍 끝냄. 통계 의미 없음
- 다중 변수. 무엇이 효과인지 모름
- Cherry picking. 사후 분석에서 좋아 보이는 결과만 채택
- 장기 영향 무시. 단기 클릭 ↑이지만 장기 retention ↓