Hypoteser och test · Lektion 35 av 41

AB Test

Planera ett A/B-test med tydlig hypotes, primärt mått och stoppregel. Lär dig bedöma observerad förbättring och osäkerheten i resultatet.

En lektion i Viseos kostnadsfria CRO-kurs. Kursmaterial från Viseo.

A/B-test (eller split-test) är en metod för att testa om din hypotes verkligen ger bättre resultat.

Ett A/B-test hjälper oss uppskatta effekten av en förändring. Resultatet har statistisk osäkerhet även när det når en vald signifikansnivå.

I ett klassiskt A/B-test så ställer du två varianter av din hemsida mot varandra; den gamla varianten och den nya hypotesen. Hälften av alla besökare på hemsidan kommer att få se den gamla varianten, och hälften den nya. När vi haft tillräckligt många besökare kan vi se vilken av varianterna som konverterar bäst.

Testa till exempel om ett synligt fraktpris på produktsidan ökar andelen köp. Visa det nuvarande upplägget för grupp A och samma sida med fraktpris för grupp B. Bestäm hur många deltagare du behöver utifrån din nuvarande köpfrekvens och den minsta effekt du vill kunna upptäcka.

Verktyg för A/B-test

Det finns ett flertal olika verktyg att välja mellan för A/B-test. Kom dock ihåg att ditt förarbete (samla in data, skapa en bra hypotes osv.) är betydligt mycket viktigare än att välja ut det ”ultimata” verktyget att utföra testet med.

Om du inte redan har ett A/B-verktyg som du använder så rekommenderar jag att köra med antingen Convert, Optimizely eller VWO, som är tre av de populäraste verktygen för A/B-test.

Att sätta upp ett A/B-test

Det kommer att krävas viss teknisk kunskap för att sätta upp dina A/B-test. Om du inte själv har hand om de tekniska delarna av din hemsida så bör du ta hjälp av dina programmerare för att sätta upp och köra testen.

Jag kommer inte att gå igenom hur du rent tekniskt sätter upp ett A/B-test då detta varierar beroende på hemsida och vilket test-verktyg du använder.

Både Convert, Optimizely och VWO har utförliga guider om hur du sätter upp och utför tester.

A/B-test vs multivariat-test

I ett vanligt A/B-test jämförs två varianter. Med A/B/n jämförs fler kompletta varianter. Ett multivariat test undersöker kombinationer av flera element, till exempel rubrik och bild.

Problemet med att använda fler varianter än två är att testen både tar längre tid att utföra och kräver mer trafik.

Om du inte verkligen har god kunskap och vet att ett multivariat test är bättre, så är klassiska A/B-test alltid att föredra.

Planera när testet ska avslutas

Välj ett primärt mått, minsta effekt som är värd att agera på och önskad urvalsstorlek innan du startar. Fördela besökarna slumpmässigt. Vid ett test med fast urval behöver du följa den planerade stoppregeln även om resultatet ser bra ut tidigt. Ett sekventiellt test har egna regler för när du får läsa av och avsluta.

Anta att 350 av 10 000 deltagare i A konverterar och 400 av 10 000 i B. Det är 3,5 % mot 4,0 %, en observerad skillnad på 0,5 procentenheter. Med ett vanligt tvåsidigt test för två andelar blir p-värdet ungefär 0,063 och ett ungefärligt 95-procentigt konfidensintervall för skillnaden är −0,03 till +1,03 procentenheter. Testet når därmed inte en förutbestämd signifikansnivå på 5 %.

Rapportera storleken på effekten och hur osäker den är. Ett p-värde anger hur ovanliga data minst lika extrema vore om nollhypotesen och testets antaganden gäller. Konfidensnivån beskriver hur ofta metoden täcker det sanna värdet vid upprepade försök.

Kan du göra flera A/B-tester samtidigt?

Ja, men det är absolut inget jag rekommenderar. Problemet med att göra flera A/B-test på samma gång är att de olika testen kan påverka varandra, vilket kan ge felaktiga resultat.

Går det att göra A/B-test med lite trafik?

Om det skulle ta för lång tid att samla in tillräckligt med deltagare kan du först hitta tydliga problem genom expertgranskning och användartester. Åtgärda dem och följ sedan trenden i GA4. Kampanjer, säsong och ändrad trafikmix kan också påverka resultatet över tid.