Online conversie verhogen - wanneer voer ik een A/B test door?

Voor de meeste mensen die zich bezighouden met het verhogen van online conversie door te A/B testen is het geen favoriet onderwerp. Toch is het wel een heel belangrijk onderwerp. Ik heb het over statistiek. Bij A/B testing kijk je of de ene variant beter converteert dan de ander. Dit klinkt simpel, maar dan volgt het dilemma: wanneer is een verschil groot genoeg om te mogen concluderen dat dit niet op toeval is gebaseerd?

Bij dit dilemma komen een aantal statistische vraagstukken kijken: Allereerst: welke statistische benadering en analyse wil ik gebruiken? En daarna, hoe interpreteer ik de getallen die uit mijn analyse komen? Allemaal belangrijke subvragen die leiden tot de hoofdvraag: Wanneer is een test succesvol en voer ik de aanpassing door?

Bayesian statistics bij het verhogen van online conversie

Grofweg zijn er twee statistische benaderingen: de Frequentist methode & de Bayesiaanse methode. Bij het verhogen van online conversie met A/B testen is de Bayesiaanse statistische methodiek daarbinnen de populaire keuze. We leggen je uit waarom.

Een Bayesiaanse test drukt het verschil tussen condities uit in de kans dat variant B beter performt dan variant A. Anders dan de traditionele frequentistische tests, laat dit format zich bijzonder goed interpreteren in het licht van businesskeuzes. Het berekent de kans dat de ene conditie beter is dan de andere, en geeft inzicht in het potentiële verlies wanneer je de conditie ten onrechte zou doorvoeren.

Redenen om te kiezen voor de Bayesiaanse methode:

• Eenvoudig te interpreteren in termen van businessresultaten.
• Leent zich goed voor de vaak dynamische online omgeving, waarbij zowel omvangrijke als subtiele wijzigingen getest worden.
• Bruikbaar met lagere sample sizes.
• Traditionele frequentist-methode is door haar rigiditeit niet goed in staat om meer subtiele stijgingen te detecteren, doordat het veel tests ten onrechte verwerpt.

Nadelen Bayesiaanse methode:

• Je bent zelf verantwoordelijk voor kwaliteitswaarborging, dus een expert op het gebied van statistiek is essentieel om de juiste beslissingen te maken op basis van je data.

De eindconclusie: de Bayesian statistiek leent zich uitstekend voor conversie optimalisatie van grote én kleinere websites, maar gebruik deze methode alleen als je weet wat je doet.

Betrouwbaarheidslevel: Wanneer voer je een A/B test door?

Met een Bayesian analyse kom je te weten welke variant beter werkte in de test: variant A of B, welke conversieverhoging (of verlaging) de geteste aanpassing veroorzaakte in de testweken, en met hoeveel zekerheid we mogen stellen dat dit gevonden effect in de werkelijkheid ook bestaat. Deze laatste metric noemen we voor het gemak even het betrouwbaarheidslevel.

Neem het volgende voorbeeld. De aanpassing (variant B) zorgde in deze test voor een conversie uplift van 10%, met een zekerheid van 86,4%. We kunnen dus met 86,4% zekerheid stellen dat variant B daadwerkelijk beter is dan A en doorvoeren je winst gaat opleveren.

De grote vraag is: bij welk betrouwbaarheidslevel voer je een geteste aanpassing door? Want duidelijk is dat er ook een kans bestaat dat het gevonden effect in de werkelijkheid anders is.

Over het algemeen houden conversiespecialisten op het gebied van e-commerce een zekerheid van 80% of meer aan.

Ik hoor je denken: “Maar is dat niet wat laag?” Dan is er dus een 20% kans dat het effect niet precies is zoals het test resultaat weergeeft.

Dat klopt! Lees hieronder waarom dit toch een veelgemaakte keuze is.

Online conversie optimalisatie vs. de medische wereld.

Iedere situatie vraagt om andere statistiek. Bij A/B testing hebben we te maken met online marketing, een vakgebied waarin het nemen van een beetje meer risico geen ernstige gevolgen heeft en zich over het algemeen terugbetaalt in een hogere omzetstijging.  Wanneer we keuzes maken in bijvoorbeeld de medische wereld, wil je eigenlijk 100% - maar minstens 99% - zeker zijn dat de keuze die je maakt de juiste is. Een foute keuze kan hier namelijk resulteren in leven of dood. Maar binnen CRO geldt een andere vraag. Want wat vind jij erger? Af en toe een verandering doorvoeren op je website die geen effect heeft op sales, of een verandering niet doorvoeren die je sales wel zou hebben verhoogd?

Om hier wat dieper op in te gaan. Een testresultaat valt binnen 1 van de volgende categorieën (zie afbeelding):

Wanneer er een effect wordt gevonden is het mogelijk:

• een true positive: Effect bestaat in werkelijkheid en wordt ook gevonden in de test
• een false positive: Er wordt een effect gevonden in de test, maar in het echt maakt de aanpassing geen verschil op conversie

Wanneer er geen effect wordt gevonden behoort het tot een van de volgende categorieën:

• Een true negative: Effect bestaat niet en wordt niet gevonden in de test
• Een false negative: Effect bestaat wel maar wordt niet gevonden in de test

Wanneer je een hele strakke richtlijn aanhoudt en een aanpassing enkel doorvoert bij bijvoorbeeld 95% zekerheid, dan voorkom je dat je een false positive doorvoert (in de test positief, in het echt niet). De keerzijde is echter dat je er hiermee tegelijkertijd voor kiest om regelmatig een effect - wat wel bestaat in de werkelijkheid maar niet met voldoende zekerheid in de test wordt gevonden - niet door te voeren (een false negative). Hou je van extreme zekerheid, dan kan dit voor jou werken. Wel betekent dit dat je kansen misloopt om conversie te verhogen en dat is zacht uitgedrukt zonde. 

Daarom kiezen de meeste conversiespecialisten ervoor om een pragmatisch acceptatiecriterium aan te houden. Mede omdat je over het algemeen werkt vanuit een hypothese. Je hebt een goede reden om te verwachten dat de aanpassing die je test een positief effect op conversie zal hebben. De kans dat je effect de totaal andere kant op valt dan voorspeld is daarmee al beperkt. En zeg nu zelf: voer jij liever af en toe een aanpassing door die minder of geen conversie verhoogt (terwijl het testresultaat dit wel voorspelde)? Of loop je liever regelmatig een succesvolle aanpassing – en daarmee omzet – mis?

Juist! Dat dachten wij ook :) 

Ben je na het lezen van dit blog nog niet uitgeleerd? Check dan vooral de "Meer Conversie met Neuromarketing & Psychologie" training. 

Wil jij ook meer conversie op jouw website maar heb je geen zin om zelf de statistiekboeken in te duiken? Dat begrijpen wij maar al te goed! We helpen je graag.

Wil jij ook meer verkoop?

Unravel Behavior, maakt off- en online winkels nóg effectiever

Laten we koffie drinken

Unravel Behavior is een marketingbureau. Maar dan net een beetje anders. We verenigen creativiteit met neuromarketing. Kunst met wetenschap.

Door bewezen technieken uit psychologie maken wij jouw (online) winkel effectiever en behaal je meer omzet.

Begin Direct

Neem contact op met Diede:
030 22 70 410 | diede@unravelbehavior.com