Veel A/B-test calculators zoals die van Speero of die van Abtestguide kunnen een melding geven van SRM. Sample Ratio Mismatch. Maar wat is dat nu eigenlijk?
Sample Ratio Mismatch is een significantie berekening, alleen dit keer niet op het aantal conversies, maar op het aantal bezoekers. Je krijgt een SRM-alert in een tool als er dus een significant verschil is in de bezoekers tussen je varianten.
SRM: wat kan ik nu doen?
Vaak duidt een verschil in het aantal bezoekers tussen de varianten op een bug, problemen die ik vaak heb aangetroffen als er een SRM-alert was:
- De test werkte niet op een bepaalde browser of device (doe een deep dive in je analytics tool);
- De code van de test werd niet goed afgeschoten omdat er iets anders werd ingeladen of omdat er geen timing ingesteld was om de code in te schieten;
- Er is een grote vertraging in je testvariant;
- Een andere reden waarom de code can de test niet afgeschoten was, vraag een developer om hulp.
Waarom SRM-alert zo belangrijk is?
Stel je voor dat je zonder het te weten een test analyseert met een gigantische bug erin. Stel je voor dat jouw foute analyse in de organisatie gaan leven, dat designs erop aangepast worden, dat het doorgevoerd en livegezet wordt. Dat kan je website of app schade doen, maar ook de optimalisatierichting die jij misschien erdoor kiest, kan verkeerd zitten.
✅ Of volg me op Linkedin om op de hoogte te blijven.