Een variant lijkt soms al na een paar dagen te winnen, maar dat betekent niet automatisch dat het verschil betrouwbaar is. Lees hoe steekproefgrootte, looptijd en keuzes vooraf bepalen wat je uit een A/B-test kunt afleiden.
Wat vergelijk je precies met een A/B-test?
Met een A/B-test krijgen sommige bezoekers je bestaande pagina te zien (dat is variant A) en anderen een aangepaste versie (variant B). Je pakt daarna één vooraf gekozen maat, zoals het percentage bezoekers dat het formulier verstuurt. Het echte nut van een test: je controleert een concreet verwacht verschil in gedrag, niet zomaar welk ontwerp beter scoort.
Voor de start schrijf je dus een hypothese waarin de aanpassing en het verwachte effect zijn gekoppeld. Voorbeeld? ‘Toon je de verzendkosten eerder, dan ronden meer mensen hun bestelling af, omdat ze sneller helderheid hebben over de totaalprijs.’ Hiermee maak je het eenvoudiger het resultaat later te beoordelen. Een test waarbij alleen een knop van kleur verandert zonder plan of onderbouwing levert zelden bruikbare inzichten, ook niet als puur toeval die versie hoger laat scoren.
Hou het speelveld gelijk
Wijs bezoekers willekeurig toe aan een variant en zorg dat hij steeds dezelfde versie ziet, ook bij een volgend bezoek. In het ideale geval verander je telkens één element. Voeg je tegelijk de koptekst, afbeelding én het formulierontwerp aan, dan kun je winst zien, maar blijft het vaag wat het succes bepaalt. Eén duidelijke wijziging geeft scherpere feedback; bij een stevige restyling test je juist hoe het hele ontwerp uitpakt, en dat kan wat opleveren als het totaalplaatje telt.
Kies vooraf één hoofdmaatstaf en aanvullende controles
Je hebt één hoofdmeetpunt nodig voor je A/B-test. Die baseer je helemaal aan het begin op je hypothese. Het kan het percentage bestellingen zijn, of het aandeel bezoekers dat een inschrijving afrondt. Welke je kiest, hangt af van wat je precies aanpast. Voer je een wijziging door in het afrekenen, dan telt het aantal voltooide bestellingen meer dan alleen een klik naar de volgende stap.
Leg vooraf vast hoe je je meetpunt berekent. Moet iemand op een knop klikken om als converter te tellen, of pas als hij het hele proces afrondt? Meet je per bezoeker, per sessie of per bestelling? Je verandert anders misschien ongemerkt halverwege van definitie. Spreek ook af welke bezoekers je gebruikt, hoe je mensen met meerdere bezoeken behandelt, en hoelang een conversie aan een bezoek mag worden gekoppeld.
Kijk niet alleen naar de pluspunten
Naast je hoofdmeting neem je aanvullende checks op, bijvoorbeeld gemiddelde orderwaarde, aantal retouren, foutmeldingen, laadtijd of hoeveel bezoekers het formulier vroegtijdig verlaten. Zulke extra’s laten je zien of hogere conversie samengaat met kleinere orders of technische schades. Vermijd dat je na afloop elk van die extra controles tot hoofdzaak maakt, veel uitkomsten tegelijk gebruiken als keuzemaat vergroot het risico op een wilde uitschieter. Kies voor de start wat een doorslaggevende factor is, wat enkel signaleert dat je misschien verder moet zoeken.
Bereken de benodigde steekproefgrootte vóór de start
Zolang je niet weet hoeveel bezoekers je test nodig heeft, is het gokken. Het hangt niet alleen af van hoeveel verkeer je site krijgt. Kijk naar je huidige conversie, het kleinste verschil dat je écht wilt kunnen zien en hoe vaak je een valse winnaar wil aanvaarden. Wil je bijvoorbeeld een verandering zien van 2,0 naar 2,2 procent, dan vraagt dat een flinke bak bezoekers meer dan een sprong naar 3,0 procent. Kleine voordelen vallen vaak gewoon weg tegen de dagelijkse schommelingen.
Bepaal dus eerst het startpercentage met betrouwbare data. Daarna bepaal je vanaf welk verschil de test ’t waard is, het effect dat zakelijk en voor je gebruikers uitmaakt. Stop deze aannames in een rekentool en je krijgt een schatting van het aantal bezoekers dat nodig is. Dit aantal garandeert niets qua winnaar, het geeft alleen aan: zóveel waarnemingen zijn grofweg nodig om zo'n verschil echt als verschil te kunnen zien.
Kleine groepen leveren grote twijfel op
Heb je weinig bezoekers, dan slaat een kleine verandering snel groot uit: een paar orders extra en de percentages vliegen alle kanten op. Snel zijn kan verleiden, een kleine uitschieter voelt ineens als bewijs, maar zonder voldoende datapunten vang je net zo makkelijk toeval als een echte verbetering. Je kunt het aantal benodigde bezoekers verlagen door alleen forse veranderingen te meten, maar subtiele verbeteringen glippen er dan tussendoor. Dat moet je incalculeren, niet zien als een list om sneller resultaten te halen. Zet je aannames op papier zodat de uitkomst in de juiste context blijft.
Bepaal de looptijd op basis van verkeer en gedrag
Je test loopt pas genoeg als je geplande aantal bezoekers is gehaald én als je verschillende normale bezoekpatronen hebt meegenomen. Een webshop ziet vaak in het weekend andere types bezoekers dan doordeweeks. Voor een dienst geldt soms dat mensen pas bij hun derde bezoek om informatie vragen. Stoppen zodra het bruto aantal bezoekers gehaald is, werkt niet als je alleen doordeweeks test en het weekend overslaat. Je mist dan een flink deel van je doelgroep of gebruikscycli.
Maak dus vooraf een inschatting van de looptijd op basis van relevant, niet alle verkeer. Bezoeken alleen de vaste klanten de geteste pagina, dan schiet het opschieten niet op. Houd rekening met late acties, zoals iemand die vandaag kijkt maar pas later bestelt. Sluit je de meetperiode te vroeg, dan is een deel van de conversies niet zichtbaar en toets je de varianten op verschillende punten in hun klantreis.
Lang testen verhelpt geen kleine groep
Langer testen lost het probleem van een te kleine steekproef niet op. Krijg je wél snel veel bezoekers, dan kan een tijdelijke campagne of storing alsnog je uitslag scheeftrekken. Kijk aan het begin of er acties, prijsveranderingen of vakanties aankomen. Leg daarna een minimale looptijd vast én het gewenste aantal bezoekers. De einddatum alleen zegt weinig over hoever je kunt vertrouwen op de test; het draait om genoeg, relevante waarnemingen in een vergelijkbare periode.
Waarom een vroege winnaar vaak misleidt
Veel dashboards tonen tijdens de test de live-conversieresultaten en misschien ook een zekerheidsoordeel. Die cijfers veranderen sterk, zeker in het begin als er nog maar weinig bezoekers zijn geweest. Het komt vaak voor dat variant B aanvankelijk veel beter lijkt en later weer afzakt zodra er meer verkeer bijkomt. Dit soort schommelingen zijn normaal bij kleine groepen, het hoort erbij.
Veel mensen kijken dagelijks en stoppen als het dashboard de ‘go’ aangeeft. Maar als je telkens tussendoor checkt op significantie en de test stopt zodra je ‘m hebt, vergroot je juist de kans op een toevallige winnaar. De gebruikelijke statistiek rekent met een vaste eindmeting; die houdt niet standaard rekening met voortdurend bijsturen. Ook het andersom halverwege afhaken bij een tegenvallend resultaat kan echte verbeteringen laten liggen.
Zet het stopmoment van tevoren vast
Je voorkomt veel geharrewar door vooraf te bepalen hoe lang én hoeveel bezoekers je test en pas dan te beslissen. Tussendoor mag je heus technisch controleren, maar dat is geen eindoordeel. Wil je tóch live bijsturen? Gebruik dan een methode die daarvoor is gemaakt (bijvoorbeeld een sequentiële test). Die vereist vooraf heldere regels en een andere analyse; een dashboardknop maakt een gewone test niet ineens geschikt voor tussentijdse beslissingen. Stop direct alleen als er iets misgaat of risico’s voor gebruikers ontstaan, maar zie dat als aparte ingreep, niet als gewone statistische besluitvorming.
Controleer randomisatie, tracking en technische uitvoering
Statistiek werkt alleen als de meetgegevens kloppen. Bezoekers moeten eerlijk over A en B verdeeld worden en bij elk bezoek dezelfde versie zien. Zonder dit raak je gedrag kwijt in ruis: als bezoekers de ene keer A, de andere keer B krijgen, krijg je een gemengd effect. Dat zie je bijvoorbeeld bij wisselende cookies, wissel tussen inloggen en uitloggen, verschillende apparaten of een mislukte registratie van het experiment. Spreek vooraf af wat je onder een ‘bezoeker’ verstaat, meestal is dat een unieke gebruiker, soms een account of een adres.
Controleer of je meetcode op beide versies gelijk functioneert. Het gebeurt dat een knop op variant B hetzelfde lijkt maar data onder een andere naam wegschrijft, of een betaalstap niet meetelt. Je cijfers laten dan een verschil zien dat puur uit technische afwijkingen komt. Test de hele route, mobiel, consent, browsers of andere instellingen, vóór de start. Leg vast wanneer iemand bij het experiment wordt ingedeeld en wanneer een conversie wordt gerekend.
Let op onbewuste scheefstand
Vergelijk tijdens de test of het aantal deelnemers bij A en B klopt met de bedoelde verdeling. Zijn er opvallende afwijkingen, check eerst of een variant niet laadt, verkeer verkeerd wordt gefilterd, of toewijzingen verloren raken. Bots, intern verkeer en testsessies moeten volgens vaste spelregels worden uitgesloten. Blijkt de uitvoering toch onbetrouwbaar, dan is het resultaat waardeloos, wat je dashboard ook laat zien.
Wees voorzichtig met segmenten en meerdere varianten
Een gemiddelde zegt soms weinig over verschil tussen groepen. Een nieuw menu kan mobiel super werken, maar op desktop geen verschil geven, en dat moet je misschien weten. Maar splitsen levert minder bezoekers per groep op en het aantal vergelijkingen neemt toe. Bekijk je tientallen groepen achteraf, dan duikt ergens haast altijd een opvallend verschil op, zelfs als dat puur toeval is.
Bedenk vooraf welke segmenten je inhoudelijk belangrijk vindt. Als mobiel en desktop echt anders werken, kun je die splitsen, maar dan moet je per groep genoeg data overhouden. Zie je in de ene groep een significant verschil en in de andere niet? Dat zegt op zichzelf nog niks over het onderlinge verschil. Je moet echt toetsen of die verschillen in effect significant van elkaar afwijken, en ook daar heb je genoeg data voor nodig.
Meerdere varianten? Extra scherp zijn
Test je met A, B, C en D tegelijk, dan ontstaan een hoop meer vergelijkingen. Hoe meer kansen op uitslag, hoe groter het risico op een onbedoelde foute winnaar. Gebruik, waar relevant, een correctie voor meerdere vergelijkingen of bepaal op voorhand wat de belangrijkste vergelijking is. Je kunt ook eerst breed verkennen en daarna een veelbelovende variant apart opnieuw testen, met een plan. Dat kost tijd, maar voorkomt dat toevallig geluk wordt opgevat als bewijs. Let ook goed op overlap: dezelfde bezoeker kan bij meerdere segmenten of experimenten horen.
Beoordeel effectgrootte en onzekerheid, niet alleen significantie
Een significant verschil betekent nog niet dat het in het echt van waarde is. Met heel veel bezoekers krijg je soms overtuigende verschillen die in de praktijk nauwelijks impact hebben, op omzet, gemak of je helpdesk. Andersom kan een interessant verschil bij weinig data zo onzeker zijn dat je niets durft te besluiten. Kijk dus altijd naar het geschatte effect én de marge waaromheen het nog kan schommelen.
Ziet variant B er beter uit, maar zit de onzekerheidsmarge van kleine min tot flinke plus, dan is ‘B wint’ geen stevige conclusie, zelfs niet als het puntje van de schatting de goede kant op wijst. Valt er geen significant verschil te meten, dan zijn de varianten niet automatisch gelijk; het betekent alleen dat je geen bewijs voor verschil vond. Misschien is er echt geen effect, misschien had de test gewoon te weinig informatie om scherp te kunnen zijn.
Koppel resultaat aan je besluit
Baseer je keuze altijd op vooraf afgesproken kaders. Is het waarschijnlijke voordeel van B groot genoeg om extra werk, risico’s of kosten te rechtvaardigen? Een paar meer klikken is zinloos als er geen bestellingen bijkomen; een minieme conversiestijging kan toch veel waarde opleveren op grote schaal. Zit je met een twijfelgeval, kies voor verlengen (mits vooraf passend), een vervolgtest of uitstel van de aanpassing. Zie onzekerheid niet als vervelend detail, maar als volwaardig onderdeel van je resultaat.