Als CRO-specialisten zijn we erop getraind om A/B-testen maximaal een maand, maar het liefst nog korter te laten lopen. Dit vanwege ‘cookie noise’ – gebruikers verliezen hun cookies en kunnen opnieuw in je testvariant vallen. Maar zijn er ook redenen waarom je een test langer zou laten lopen?
Het korte antwoord: ja, die zijn er.
Wat je hiervoor nodig hebt is een oplossing voor die cookies-noise, en dat is serverside testen. Wanneer je serverside kunt testen worden bezoekers vanaf de server in groepen (varianten) gezet.
Wanneer is maandenlang testen relevant?
Het is relevant als je te maken hebt met gebruikers die op een langere termijn terugkomen of stevige gewoontes hebben. Bij NU.nl komen mensen iedere dag terug, en vaak op dezelfde tijden en momenten. Door onderzoek van Philippa Lally naar het opbouwen van gewoontes, wist ik dat het opbouwen van een gewoonte gemiddeld 66 dagen duurt. Omdat op NU.nl zulke sterke gewoontedieren de website bezoeken, lopen risicovolle testen soms 3 maanden: om de impact op lange termijn in te zien.
En niet alleen bij NU.nl is dit zo. Ook het Genius-programma op Booking.com voor loyale gebruikers is op deze manier getest, vertelde Lucas Vermeer me. En ook Luis Trindade van FARFETCH vertelde me op deze manier getest te hebben voor de accountsflows van deze e-commerce website.
Moet jij op langere termijn gaan testen in jouw experimenteerprogramma? Dat hangt af van je type bezoeker en of je een gewoonte wilt testen. Hieronder een slide uit mijn verhaal op Emerce Conversion 2022.
Let op! Ik raad je niet aan om maandenlang te testen als je:
- Client side test;
- Als je wilt wachten totdat je sample size groot genoeg is.
Op zoek naar een spreker over experimenteren of CRO voor jouw event? Of wil je hulp bij het optimaliseren van jouw website👇
✅ Of volg me op Linkedin om op de hoogte te blijven.