Hvad er en A/B-test? Split-test af en webshop

En A/B-test, også kaldet en split-test, sammenligner to versioner af eksempelvis en webside. Brugerne fordeles tilfældigt mellem versionerne, og du måler en på forhånd valgt forskel i resultaterne.

Version A er ofte det eksisterende design, mens version B indeholder en ændring. Målet er at undersøge en konkret hypotese under sammenlignelige forhold.

Start med problemet

En brugbar hypotese kan være: “Tydelig leveringstid ved købsknappen gør det lettere at beslutte sig og øger andelen af sessioner med køb.”

Den forklarer både ændringen og den forventede virkning. “En grøn knap er bedre” siger mindre om kundens problem og kan være vanskeligere at lære af.

Brug gerne en brugertest, kundespørgsmål eller en funnel til at finde det, du vil undersøge.

Planlæg målingen før start

Vælg ét primært målepunkt, eksempelvis konverteringsrate, og definer præcis, hvordan det beregnes. Følg også relevante kontrolmål som ordreværdi, fejl eller returandel.

Aftal på forhånd, hvor stor en forskel der skal være for at være praktisk interessant, og hvilket datagrundlag testen kræver. Det afhænger blandt andet af din nuværende rate og den effekt, du vil kunne opdage.

Der findes ikke en universel regel om, at et bestemt antal dage eller køb altid er nok.

Undgå en falsk vinder

Et tidligt forspring kan skyldes tilfældig variation. Hvis du stopper testen, så snart resultatet ser godt ud, kan du øge risikoen for en forkert konklusion.

Brug en analysemetode og stopregel, der passer sammen. Kontrollér, at fordelingen mellem versionerne fungerer, at en bruger ikke skifter version unødigt, og at samme hændelse måles ens i begge versioner.

En statistisk usikker test er ikke bevis for, at versionerne er identiske. Den kan ganske enkelt have for lidt data til at skelne dem.

Hvad hvis webshoppen har få besøg?

Små ændringer kan kræve mere trafik, end du realistisk har. Brug da testkøb, brugertest og teknisk fejlsøgning til at løse tydelige problemer. En fejl i en betalingsknap behøver ikke vente på et eksperiment.

Hvad gør du efter testen?

Vurdér både usikkerheden og den praktiske værdi. En lille stigning i køb kan være mindre interessant, hvis indtjeningen falder eller kundeservice får flere problemer.

Dokumentér hypotese, ændring, periode og konklusion. Det gør næste beslutning bedre, også når testen ikke finder en klar forskel. Metoden kan indgå i en samlet indsats med konverteringsoptimering.