Je spreekt direct iemand van het teamVertel kort waar je mee zit. Je hoort binnen één werkdag van ons, van iemand die je vraag inhoudelijk kan beantwoorden. Je zit nergens aan vast.
Liever direct iemand spreken? Bel 030 - 227 0475 of mail info@ecoteers.nl
Onze diensten
Kies waar je naartoe wilt, dan zie je welke diensten daarbij horen.
Alle diensten →Weet je niet waar je moet beginnen?Eerst kijken, dan kiezen, daarna doen →Gevonden worden
In Google en in de zoekresultaten
Zoekmachine OptimalisatieLokale SEOLinkbuildingContentmarketingAdverteren
Campagnes die zich terugverdienen
Zoekmachine adverterenSocial Media marketingInfluencer marketingMarketplacesConverteren en merk
Meer uit het bezoek dat je al hebt
Conversie optimalisatieE-mail marketingBrandingMarketing strategieAI
Zichtbaar in AI en AI in je werk
AI OptimalisatieChatGPT AdsVindbaar in ChatGPTGEO uitgelegdAI in je marketingteamOnze visie op AIMarketing uitbesteden
Eén team, één aanspreekpunt
Marketingafdeling uitbestedenInterim marketeerMarketeer inhurenMarketing auditEr is één vraag die vrijwel nooit wordt gesteld voordat een A/B-test wordt gestart, en het is precies de vraag…
Er is één vraag die vrijwel nooit wordt gesteld voordat een A/B-test wordt gestart, en het is precies de vraag die bepaalt of de uitkomst iets betekent: hoeveel bezoekers heb ik hiervoor nodig?
Zonder dat getal weet je namelijk niet of “variant B doet het 12 procent beter” een echt verschil is of gewoon toeval. En bij de meeste Nederlandse webshops en B2B-sites is het antwoord ongemakkelijk: veel meer dan er in een maand langskomt.
Dit artikel geeft je de rekensom, drie voorbeelden, en de eerlijke conclusie over wanneer je beter niet kunt testen.
Een A/B-test vergelijkt twee conversiepercentages. Het probleem is dat een conversiepercentage schommelt, ook als er niets verandert. Meet je op maandag 2,1 procent en op dinsdag 2,4 procent, dan is dat ruis, geen verbetering.
Hoe kleiner het verschil dat je wilt aantonen, hoe meer waarnemingen je nodig hebt om het van die ruis te onderscheiden. Dat is geen mening maar statistiek, en het werkt onverbiddelijk in je nadeel bij lage conversiepercentages.
Er bestaat een bekende benadering voor het aantal bezoekers per variant, bij de standaardinstellingen die vrijwel elke testtool hanteert: 95 procent betrouwbaarheid en 80 procent onderscheidend vermogen.
p is je huidige conversiepercentage als kommagetal (2 procent = 0,02). d is het absolute verschil dat je wilt kunnen aantonen, ook als kommagetal. Ga je van 2 naar 2,4 procent, dan is d = 0,004. Het getal 16 hoort bij de standaardinstellingen hierboven; wil je strenger of soepeler meten, dan verandert dat getal.
Die factor 16 komt uit een veelgebruikte vuistregel voor steekproefgrootte. Het is een benadering, geen exacte berekening — voor een precieze uitkomst gebruik je een sample size calculator. Maar hij is nauwkeurig genoeg om vóór het testen te weten of je het je kunt veroorloven.
| Huidige conversie | Verbetering die je wilt aantonen | Per variant | Totaal nodig |
|---|---|---|---|
| 2 procent | 20 procent relatief, dus naar 2,4 procent | 21.516 | 43.032 |
| 2 procent | 50 procent relatief, dus naar 3 procent | 3.900 | 7.800 |
| 5 procent | 20 procent relatief, dus naar 6 procent | 8.316 | 16.632 |
| 5 procent | 50 procent relatief, dus naar 7,5 procent | 1.500 | 3.000 |
| 1 procent | 20 procent relatief, dus naar 1,2 procent | 43.516 | 87.032 |
Lees de eerste regel nog eens. Een webshop met 2 procent conversie die een verbetering van 20 procent wil aantonen, heeft ruim 43.000 bezoekers nodig voordat de test iets zegt. Bij 3.000 bezoekers per maand duurt dat meer dan een jaar — en in dat jaar veranderen je aanbod, je prijzen, je seizoen en je verkeersbronnen, waardoor de test alsnog waardeloos is.
De verleiding is om vroeg te kijken en te stoppen zodra een variant voorloopt. Dat heet peeking, en het is de meest gemaakte fout bij A/B-testen. Als je elke dag kijkt en stopt bij de eerste keer dat de tool “significant” zegt, vind je verschillen die er niet zijn. Je vergroot je kans op een vals positief van 5 procent naar tientallen procenten.
De regel is simpel: bepaal het aantal bezoekers vooraf, laat de test dat aantal halen, en kijk pas dan.
Twee dingen vallen op als je de vijf regels naast elkaar legt.
Het verschil tussen 20 en 50 procent verbetering aantonen is bij 2 procent conversie een factor vijf in benodigd verkeer. Grote ingrepen zijn dus niet alleen kansrijker, ze zijn ook goedkoper te bewijzen.
Van 2 naar 5 procent conversie halveert de benodigde steekproef ruimschoots. Testen wordt pas betaalbaar als je basis op orde is — wat een argument is om eerst het duidelijke te repareren.
Een test op een stap met veel meer verkeer — een productoverzicht, een formulierstap, een e-mail — haalt zijn aantallen wel. Een test op de laatste stap van je afrekenproces meestal niet.
Voor de meeste MKB-sites is kijken waar bezoekers vastlopen productiever dan testen. Sessieopnames en heatmaps kosten je niets en leveren binnen een week een lijst met concrete problemen op. Die problemen repareer je, en pas als je daarna nog twijfelt tussen twee serieuze varianten, en het verkeer het toelaat, ga je testen.
We rekenen het door met jouw cijfers en zeggen eerlijk of je moet testen of gewoon moet repareren. Bekijk wat we met CRO doen of plan een gratis audit.
Medeoprichter. Werkt aan SEO, linkbuilding, conversieoptimalisatie en strategie, en doet daarnaast sales en finance. Heeft zich vastgebeten in wat AI met zoeken doet en vertaalt dat naar het werk voor klanten. Studeerde in Groningen Bedrijfskunde én Rechtsgeleerdheid, met de masters Marketing en Recht en ICT.
LinkedInRamon Kok is webontwikkelaar en CRO-specialist bij Ecoteers. Hij bouwt en onderhoudt websites en werkt aan conversieoptimalisatie. Op de blog schreef hij over SEO voor beginners, AI-optimalisatie van websites, strategische planning en social media strategie.
Sluit je aan bij de honderden organisaties die zijn gegroeid middels een online marketing strategie die werkt. Ontvang gratis persoonlijk advies.
