Om A/B-test analyses te doen kun je twee statistische modellen gebruiken. Ik zie weleens een discussie op Linkedin die vraagt: ben je Team Baysiaan of Team Frequentist?
Mijn antwoord is: waarom zou je niet beiden zijn?
Hierover had ik een gesprek met Shiva Manjunath van Speero. Hij vroeg me welk ’team’ ik was. Ik zei: allebei. Ik kijk naar de data die beschikbaar is. En het statistische model zie ik als een tool die me helpt.
Voor Baysiaanse statistiek, die uitgaat van de kans dat versie B beter is dan A, heb je vaak minder data nodig om significante resultaten te halen. Bij een kleinere webshop zou ik dus deze statistiek gebruiken om zoveel mogelijk te leren.
Frequentist statistiek is een meer wetenschappelijke benadering van statistiek. Met 95% significantie is de kans heel groot dat als je je A/B-test zou herhalen je hetzelfde resultaat zou vinden. Deze statistiek wordt gebruikt in bijvoorbeeld onderzoek naar medicijnen, zodat de foutemarge zo klein mogelijk is. Het lastige van frequentist statistiek is dat je er meer data voor nodig heb. Dit statistische model gebruikte ik bijvoorbeeld alleen bij NU.nl omdat daar genoeg data was (joepie 8 miljoen gebruikers!).
Wil je meer leren?
- Lees dit blog van Cassie van Google en bekijk vooral de video.
Kies jij voor een team of ben je ook beiden?
✅ Of volg me op Linkedin om op de hoogte te blijven.