tadata
← Retour à l'accueil

Stratégie de Tests A/B : Des Fondements Statistiques a la Maturité Organisationnelle

#analytics#ab-testing#statistics#product#data-science

Le test A/B est le standard pour les decisions produit basees sur les données, mais la plupart des organisations soit manquent de rigueur, soit se fient excessivement aux p-values sans en comprendre les limites.

Aide-Mémoire Statistique

ConceptDefinitionImplication Pratique
p-valueProbabilite d'observer ces données si H0 est vraieN'est PAS la probabilité que H1 soit vraie
Puissance statistiqueProbabilite de détecter un effet réel (souvent 0.80)80% de chance de repérer un vrai gagnant
Effet minimum detectablePlus petit effet a détecterPlus petit = plus d'échantillon = plus long
CUPEDRéduction de variance par données pre-expériencePeut réduire la taille d'échantillon de 20-50%
tadata
−4 −2 0 2 4 6 test statistic (z) critical z = −1.96 critical z = 1.96 observed z = 2.1 lift = MDE no lift type I error α = 0.05 (split over both tails) type II error β = 0.2 power 1−β = 0.8 p-value = 0.0357 < α = 0.05 → reject H₀
−4 −2 0 2 4 6 test statistic (z) critical z = −1.96 critical z = 1.96 observed z = 2.1 lift = MDE no lift type I error α = 0.05 (split over both tails) type II error β = 0.2 power 1−β = 0.8 p-value = 0.0357 < α = 0.05 → reject H₀
Le même plan vu comme des distributions d'échantillonnage : un effet réel de 2,8 erreurs standard (= 1,96 + 0,84) donne 80 % de puissance à α = 0,05. Un z observé de 2,1 donne p = 0,036 : on rejette H0

Extrait de la fiche « Causal Inference and A/B Testing » · Demander la fiche complète

Table de Référence de Taille d'Echantillon

Taux de conversion de base : 5%, puissance : 80%, significativite : 5%

Effet Minimum DetectableTaille par VarianteA 10K utilisateurs/jour
5% relatif (5.0% → 5.25%)~1,240,000~248 jours
10% relatif (5.0% → 5.5%)~310,000~62 jours
20% relatif (5.0% → 6.0%)~78,000~16 jours
50% relatif (5.0% → 7.5%)~12,600~3 jours

Enseignement clé : détecter de petits effets exige des échantillons enormes. Concentrez-vous sur le test de changements audacieux.

tadata
Sample size per group for two conversion rates FORMULA n = (za + zb)² × (p1 × (1 - p1) + p2 × (1 - p2)) / d² WHERE • n = users needed in each group (users)• za = z-value for the significance level: 1.96 for α = 0.05 two-sided (-)• zb = z-value for the power: 0.84 for power 0.80 (-)• p1 = baseline conversion rate (control) (0-1)• p2 = conversion rate you want to be able to detect (p1 + MDE) (0-1)• d = absolute minimum detectable effect p2 - p1 (0-1) WORKED za = 1.96zb = 0.8416p1 = 0.1p2 = 0.11d = 0.01n = (1.96 + 0.8416)^2 × (0.1 × (1 - 0.1) + 0.11 × (1 - 0.11)) / 0.01^2n = 14 748.2 users per group RESULT n = 14 748.2 users per group READ IT Detecting a lift from 10 % to 11 % needs about 14,700 users per variant (29,500 in all). Halving theMDE multiplies n by 4. MISTAKES • Fix n (or a sequential design) before starting; stopping when p < 0.05 inflates false positives• Use a relative MDE only after converting it to absolute points• Randomise and analyse on the same unit (user, not page view)
Sample size per group for two conversion rates FORMULA n = (za + zb)² × (p1 × (1 - p1) + p2 × (1 - p2)) / d² WHERE • n = users needed in each group (users)• za = z-value for the significance level: 1.96 for α = 0.05 two-sided (-)• zb = z-value for the power: 0.84 for power 0.80 (-)• p1 = baseline conversion rate (control) (0-1)• p2 = conversion rate you want to be able to detect (p1 + MDE) (0-1)• d = absolute minimum detectable effect p2 - p1 (0-1) WORKED za = 1.96zb = 0.8416p1 = 0.1p2 = 0.11d = 0.01n = (1.96 + 0.8416)^2 × (0.1 × (1 - 0.1) + 0.11 × (1 - 0.11)) / 0.01^2n = 14 748.2 users per group RESULT n = 14 748.2 users per group READ IT Detecting a lift from 10 % to 11 % needs about 14,700 users per variant (29,500 in all). Halving theMDE multiplies n by 4. MISTAKES • Fix n (or a sequential design) before starting; stopping when p < 0.05 inflates false positives• Use a relative MDE only after converting it to absolute points• Randomise and analyse on the same unit (user, not page view)

Extrait de la fiche « Causal Inference and A/B Testing » · Demander la fiche complète

Comparaison des Plateformes

CapacitéStatsigEppoOptimizelyGrowthBook
FocusExperimentation completeWarehouse-nativeOptimisation digitaleOSS experimentation
CUPEDOuiOuiOuiOui
TarificationUsageUsageEntrepriseGratuit (OSS)
Ideal pourÉquipes produit a l'échelleÉquipes dataMarketingBudget limité

Modèle de Maturité

NiveauÉtapeCaracteristiques
0Ad-hocPas de test formel, decisions par intuition
1ReactifTests occasionnels sur les fonctionnalités majeures
2SystematiquePlateforme dediee, processus de base
3CulturelLa plupart des fonctionnalités testées
4AvanceTests sequentiels, CUPED, détection d'interactions
5OptimiseExperimentation automatisee, algorithmes bandit
tadata
0% 10% 20% 30% 40% type I error 1 look 2 5 10 20 50 100 1 look: 5 5% 2: 8.3 8.3% 5: 14.2 14.2% 10: 19.3 19.3% 20: 24.8 24.8% 50: 32 32% 100: 37.4 37.4% nominal α 5%
0% 10% 20% 30% 40% type I error 1 look 2 5 10 20 50 100 1 look: 5 5% 2: 8.3 8.3% 5: 14.2 14.2% 10: 19.3 19.3% 20: 24.8 24.8% 50: 32 32% 100: 37.4 37.4% nominal α 5%
Pourquoi regarder les résultats en cours de test est interdit : taux réel de faux positifs en testant au seuil nominal de 5 % après chaque regard à intervalles réguliers (approx., Armitage et al., 1969)

Extrait de la fiche « Experimentation Platforms at Scale » · Demander la fiche complète

Construire une Culture d'Experimentation

Le plus grand obstacle au test A/B efficace n'est pas la connaissance statistique — c'est la volonté organisationnelle d'accepter que l'intuition peut se tromper. L'investissement le plus impactant n'est pas une meilleure plateforme mais le soutien de la direction.

Ressources

Nous utilisons des cookies analytiques pour améliorer votre expérience. Aucune donnée personnelle n'est collectée.