Laten we het vooral niet te complex maken. Wij helpen met twee dingen: verkeer en conversies. Waardoor jij groeit in omzet, leads en naamsbekendheid.
Bekijk alle dienstenVul de onderstaande gegevens in en wij nemen zo snel mogelijk contact met je op.
Er is één vraag die vrijwel nooit wordt gesteld voordat een A/B-test wordt gestart, en het is precies de vraag die bepaalt of de uitkomst iets betekent: hoeveel bezoekers heb ik hiervoor nodig?
Zonder dat getal weet je namelijk niet of “variant B doet het 12 procent beter” een echt verschil is of gewoon toeval. En bij de meeste Nederlandse webshops en B2B-sites is het antwoord ongemakkelijk: veel meer dan er in een maand langskomt.
Dit artikel geeft je de rekensom, drie voorbeelden, en de eerlijke conclusie over wanneer je beter niet kunt testen.
Een A/B-test vergelijkt twee conversiepercentages. Het probleem is dat een conversiepercentage schommelt, ook als er niets verandert. Meet je op maandag 2,1 procent en op dinsdag 2,4 procent, dan is dat ruis, geen verbetering.
Hoe kleiner het verschil dat je wilt aantonen, hoe meer waarnemingen je nodig hebt om het van die ruis te onderscheiden. Dat is geen mening maar statistiek, en het werkt onverbiddelijk in je nadeel bij lage conversiepercentages.
Er bestaat een bekende benadering voor het aantal bezoekers per variant, bij de standaardinstellingen die vrijwel elke testtool hanteert: 95 procent betrouwbaarheid en 80 procent onderscheidend vermogen.
p is je huidige conversiepercentage als kommagetal (2 procent = 0,02). d is het absolute verschil dat je wilt kunnen aantonen, ook als kommagetal. Ga je van 2 naar 2,4 procent, dan is d = 0,004. Het getal 16 hoort bij de standaardinstellingen hierboven; wil je strenger of soepeler meten, dan verandert dat getal.
Die factor 16 komt uit een veelgebruikte vuistregel voor steekproefgrootte. Het is een benadering, geen exacte berekening — voor een precieze uitkomst gebruik je een sample size calculator. Maar hij is nauwkeurig genoeg om vóór het testen te weten of je het je kunt veroorloven.
| Huidige conversie | Verbetering die je wilt aantonen | Per variant | Totaal nodig |
|---|---|---|---|
| 2 procent | 20 procent relatief, dus naar 2,4 procent | 21.516 | 43.032 |
| 2 procent | 50 procent relatief, dus naar 3 procent | 3.900 | 7.800 |
| 5 procent | 20 procent relatief, dus naar 6 procent | 8.316 | 16.632 |
| 5 procent | 50 procent relatief, dus naar 7,5 procent | 1.500 | 3.000 |
| 1 procent | 20 procent relatief, dus naar 1,2 procent | 43.516 | 87.032 |
Lees de eerste regel nog eens. Een webshop met 2 procent conversie die een verbetering van 20 procent wil aantonen, heeft ruim 43.000 bezoekers nodig voordat de test iets zegt. Bij 3.000 bezoekers per maand duurt dat meer dan een jaar — en in dat jaar veranderen je aanbod, je prijzen, je seizoen en je verkeersbronnen, waardoor de test alsnog waardeloos is.
De verleiding is om vroeg te kijken en te stoppen zodra een variant voorloopt. Dat heet peeking, en het is de meest gemaakte fout bij A/B-testen. Als je elke dag kijkt en stopt bij de eerste keer dat de tool “significant” zegt, vind je verschillen die er niet zijn. Je vergroot je kans op een vals positief van 5 procent naar tientallen procenten.
De regel is simpel: bepaal het aantal bezoekers vooraf, laat de test dat aantal halen, en kijk pas dan.
Twee dingen vallen op als je de vijf regels naast elkaar legt.
Het verschil tussen 20 en 50 procent verbetering aantonen is bij 2 procent conversie een factor vijf in benodigd verkeer. Grote ingrepen zijn dus niet alleen kansrijker, ze zijn ook goedkoper te bewijzen.
Van 2 naar 5 procent conversie halveert de benodigde steekproef ruimschoots. Testen wordt pas betaalbaar als je basis op orde is — wat een argument is om eerst het duidelijke te repareren.
Een test op een stap met veel meer verkeer — een productoverzicht, een formulierstap, een e-mail — haalt zijn aantallen wel. Een test op de laatste stap van je afrekenproces meestal niet.
Voor de meeste MKB-sites is kijken waar bezoekers vastlopen productiever dan testen. Sessieopnames en heatmaps kosten je niets en leveren binnen een week een lijst met concrete problemen op. Die problemen repareer je, en pas als je daarna nog twijfelt tussen twee serieuze varianten, en het verkeer het toelaat, ga je testen.
We rekenen het door met jouw cijfers en zeggen eerlijk of je moet testen of gewoon moet repareren. Bekijk wat we met CRO doen of plan een gratis audit.
Sluit je aan bij 300+ partners die zijn gegroeid middels een online marketing strategie die werkt. Ontvang gratis persoonlijk advies.
