Affilyflow

Måling og nøgletal

A/B test (splittest)

Også kaldet A/B-test, splittest, split test, A/B testing.

Kort svar

A/B test er en metode, hvor to versioner af samme side, link eller placering vises til hver sin halvdel af trafikken i samme periode. Forskellen i konverteringer kan derfor tilskrives ændringen – ikke udsving i trafikken.

Definition af A/B test (splittest).

A/B test kaldes også splittest. Version A er den nuværende – kontrollen – og version B indeholder en ændring. Trafikken fordeles tilfældigt mellem de to, begge kører samtidig, og den samme succesmåling opgøres for hver gruppe. At de kører samtidig er hele pointen: kører A i marts og B i april, måler man årstiden lige så meget som ændringen.

I affiliate-sammenhæng testes typisk fire ting: hvor på siden linket står, hvad ankerteksten siger, om anbefalingen er et tekstlink eller en banner, og hvilken landingsside linket peger på. Hver test skal isolere en ændring. Ændres både placering og tekst på en gang, ved man bagefter kun at noget virkede – ikke hvad.

Resultatet er kun brugbart, når antallet af konverteringer er stort nok til at udelukke tilfældighed. Med 20 konverteringer i hver gruppe kan en forskel på 15 % skyldes held alene. Jo mindre forskellen er, jo flere konverteringer kræver den: skal få procentpoint kunne skelnes fra støj, skal hver variant op i trecifret antal konverteringer. Testperioden måles i hele uger, så hverdage og weekender vejer ens i begge grupper.

Sådan sætter du en test op, der kan aflæses

Beslut tre ting før testen starter: hypotesen, måltallet og sluttidspunktet. Hypotesen skal kunne falsificeres – et link over foldet giver flere klik end et link under produktbeskrivelsen – og måltallet skal være det, du reelt vil have mere af. Måler du på klik, kan du vinde flere klik og tabe penge, fordi de klik konverterer dårligere.

Noter variant, periode, klik og konverteringer for begge grupper undervejs. Uden noten kan du ikke bagefter skelne ændringens effekt fra en uge med kampagne hos butikken.

Hvad du ikke kan splitteste

Alt uden for din egen flade ligger fast: provisionssatsen, attributionsvinduet og butikkens checkout hører til programmet, ikke til placeringen. Du kan teste, hvordan du sender trafikken af sted – ikke hvad der sker, efter den er landet.

Trafikvolumen sætter også en grænse. En side med 200 besøg om måneden og 4 konverteringer kan ikke aflæse en forskel på 10 %. Der er testen ikke svaret; det er en større ændring, der er.

A/B test vs. multivariat test

AspektA/B testMultivariat test
Antal ændringeren ad gangenflere elementer kombineres
Svarer påvirkede denne ene ændringhvilken kombination virker bedst
Trafikbehovto grupper skal fyldeshver kombination skal fyldes – vokser hurtigt
Egner sig tilsider med almindelig trafiksider med meget høj trafik

Vælg A/B test, medmindre siden har trafik nok til at fylde alle kombinationer i en multivariat test – hvilket de færreste affiliate-sider har.

Sådan går det galt

  • 01

    Testen stoppes, når den ser rigtig ud

    Kigger man dagligt og stopper første gang B fører, stopper man systematisk på tilfældige udsving. Sluttidspunktet skal ligge fast, før testen begynder.

  • 02

    To ændringer i samme variant

    Ny placering og ny ankertekst i version B giver et resultat, du ikke kan handle på. Rul den ene ændring ud, mål, og test derefter den næste.

  • 03

    Vinderen bliver aldrig rullet ud

    En test uden en beslutning bagefter er kun tabt trafik. Aftal på forhånd, hvilket resultat der udløser hvilken handling.

Hos Affilyflow

A/B test (splittest) i praksis

Affilyflow kører ikke splittest for dig, men leverer det datagrundlag en test skal aflæses på. Hvert klik oprettes som sin egen række med programmets sats og attributionsvindue kopieret ind, og hver tracking-hændelse logges – også dem der ikke blev til et salg. Kan du adskille, hvilken variant der sendte hvilket klik, kan begge grupper opgøres på samme kilde.

Ofte stillede spørgsmål

Hvor lang tid skal en A/B test køre?

Lad testen køre i hele uger, så hverdage og weekender vejer ens i begge grupper, og fastsæt sluttidspunktet før start. Perioden skal være lang nok til at samle nok konverteringer pr. variant – ikke lang nok til, at butikkens kampagner eller sæsonen når at ændre sig undervejs.

Hvor mange konverteringer kræver en A/B test?

Det afhænger af, hvor lille en forskel du vil kunne aflæse. Med 20 konverteringer i hver gruppe kan en forskel på 15 % skyldes tilfældighed alene; skal få procentpoint kunne skelnes fra støj, skal hver variant op i trecifret antal konverteringer. Har siden ikke trafik nok, giver en stor ændring målt over en længere periode mere end en splittest af en lille.

Hvad er forskellen på A/B test og splittest?

Der er ingen forskel. Splittest er den danske betegnelse for det samme: trafikken splittes mellem to versioner, der kører samtidig. Begrebet A/B/n-test bruges, når der er mere end to versioner.

Kan man A/B teste affiliate-links?

Ja, alt på din egen side kan testes: placering, ankertekst, format og hvilken landingsside linket peger på. Det, der ligger hos butikken – provisionssats, attributionsvindue og checkout – er en del af programmet og kan ikke varieres pr. besøgende.

Læs videre