A/B-testen langer dan twee weken laten lopen. Het wordt vaak afgeraden. En terecht. Als je client-side test heb je last van cookies en kunnen bezoekers wellicht meerdere keren in je test terecht komen, zonder dat jij het doorhebt. Dit beinvloedt natuurlijk je resultaten.
Maar…
Als je het geluk hebt om server-side te kunnen testen. Heb je geen last meer van cookies. Dan kun je testen ineens één of twee maanden laten lopen.
De voordeling die ik tot nu toe opmerk:
- Schadelijk langetermijngedrag opmerken dat anders onopgemerkt was gebleven. Op sommige websites (zoals NU.nl) hebben varianten pas na een bepaalde termijn een uitwerking, of een waarnembaar verandering in gedrag.
- Bevestiging dat testresultaten op lange termijn ook valide zijn. Soms ontsprong de discussie: zal dit effect na verloop van tijd niet wegtrekken? Is dit niet enkel omdat het nieuw is? Door langer dan een maand te testen, is een beter antwoord vindbaar.
Samen testen opzetten? Neem contact op.