A/B-testen tegelijkertijd laten lopen: doen of niet?

Over het algemeen laten grote bedrijven zoals NU.nl, KPN, VodafoneZiggo of Bol.com testen tegelijkertijd lopen. Op een pagina kunnen meerdere testen lopen, of over de gehele funnel. Want: hoe meer testen je laat lopen, hoe meer winnaars en verliezers je vindt en des te meer je daarvan als bedrijf leert.

Beïnvloeden die testen elkaar niet?

Het antwoord hierop is ‘ja’. Testen beinvloeden elkaar. Georgi Georgiev legt uit dat wanneer hij 1000 experimenteren deed, 32.2% resulteerde ik het kiezen van de verkeerde variant van een van de twee tests. Nul keer leidde het tot twee keer de verkeerde variant kiezen.

Best eng.

Twee dingen die je kunt doen zijn: de invloed die testen op elkaar hebben verminderen OF de ruis in de data verminderen.

Tegelijkertijd A/B-testen, maar invloed op elkaar beperken

• Als je echt 100% zekerheid wil dan kun je testen met traffic die alleen naar één test gestuurd wordt, soms is dit een optie in een tool. Dit heet soms Non-overlay (Sitespect) of Mutually exclusive groups (VWO). Je moet hiervoor wel genoeg traffic hebben, omdat de tool alle bezoekers die in jouw test vallen uitsluit voor andere tests en visa-versa.
• Soms kan je van een andere test op de pagina een andere variant maken. Bijvoorbeeld als de hypothese of het doel hetzelfde is.
• Een Multipagina experiment wordt ook vaak genoemd als oplossing. Voor een enkele test is dat in te regelen, maar als je al je testen in een gigantische MVT wil laten lopen, is dat haast technisch onmogelijk

Tegelijkertijd testen en ruis in data verminderen

• Testen kunnen precies dezelfde looptijd hebben, of slechts voor een paar dagen overlappen. Die gedeeltelijke overlap kun je dus slim inzetten om de ruis in je data te verminderen.
• Hertesten is altijd een goed idee om te checken of het resultaat dat je vond nog steeds valide is.
• Segmenteer en haal de andere test (waarvan je vermoed dat deze invloed heeft) uit jouw testresultaten tijdens de analyse.

Natuurlijk kun je ook altijd een uitzondering maken voor een grote, risicovolle test en deze je volledige bandbreedte qua testen geven zonder dat er andere testen lopen.