Sådan planlægger du et validt A/B-test

Start med formålet og et klart succeskriterium

En A/B-test lader dig engagere målgruppen ved at teste to versioner af fx en knap, en hjemmeside eller en app. Formålet er at se, hvilken løsning der bedst løser brugernes behov eller udfordring. Metoden kan sætte retning for udviklingen og bruges på flere stadier, fra tidlige idéer til digitale prototyper.

Først identificerer du testens mål: flere tilmeldinger til et nyhedsbrev, bedre salg eller større brugerengagement på en webside. Derefter vælger du den metrik, der afgør udfaldet – typisk klikrate (CTR), konverteringsrate eller tilmeldingsrate.

Vær skarp på formål og fokus, før testen starter. Når en bruger møder to versioner, kan mange ting springe i øjnene: om teksten er forståelig, om flowet er intuitivt, eller noget tredje. Læg dig derfor fast på ét formål og præcis hvilke variationer, du vil teste. Det gør evalueringen lettere bagefter.

Eksempel: Målet kan være at måle, hvilken overskrift der giver flest tilmeldinger til et webinar om karriereudvikling. Succeskriteriet er antallet af tilmeldinger – ikke om overskriften umiddelbart virker mest fængende. Vælger du et flow eller en prototype som testobjekt, skal succeskriteriet matche det, du kan måle der: fx korrekt gennemførte flows eller brugerfeedback.

For et statistisk validt A/B-test skal succeskriteriet kunne måles som en rate. Typiske mål er klikrate (CTR), konverteringsrate og tilmeldingsrate. Beslutningsreglen for, hvornår en version er vinder, skal ligge fast, før testen begynder.

Beregn stikprøvestørrelsen på forhånd. Den afhænger af fire størrelser: nuværende konverteringsrate, mindste målbar effekt (MDE), konfidensniveau og statistisk styrke. Standarden er 95% konfidens og 80% styrke.

MDE angiver den mindste forbedring, testen skal kunne finde. Den kan angives relativt, fx en procentvis stigning, eller absolut i procentpoint. En relativ MDE på 10% af en konvertering på 5% sigter på 5,5%.

Design to versioner med en forskel, der kan mærkes

Lav to forskellige versioner af det element, du vil teste. Version A er ofte den eksisterende version (kontrol), mens version B er den nye version, hvor du har ændret en eller flere variabler.

Forskellene skal være betydelige nok til at have reel indflydelse på den valgte succesmåling. En ændret knapfarve er relevant, hvis succeskriteriet er klikrate, men flytter sjældent et mere overordnet flow- eller konverteringsmål. Design derfor variationerne og en spørgeguide samtidig. Så ved du, hvad du vil spørge ind til, når versionerne er bygget.

Eksempler på variationer: to forskellige overskrifter på en landingsside med målet at få flere tilmeldinger til et webinar. En grøn »Køb nu«-knap mod en blå »Få dit tilbud nu«-knap med målet at skabe flere salg. Produktbilleder uden modeller mod produktbilleder med modeller med målet at få flere konverteringer.

A/B-test bruges bredt: på hjemmesider, i e-mails, i annoncer og på andet indhold. Variationen kan sidde i en knap, en side, en app eller et helt flow.

I søgemaskinemarkedsføring kan du teste forskellige overskrifter eller beskrivelser i Google Ads for at se, hvilke der giver højere klikrater. Google kører selv testen, hvis du udfylder flere muligheder, fx i Performance Max-kampagner. Du kan også sende klik fra en annonce til forskellige landingssider for at teste, hvilken der har den bedste konverteringsrate.

Design variationerne, så forskellen mindst svarer til den MDE, du har valgt. MDE er en grænse for detekterbarhed, ikke en forventet stigning. En test kan kun besvare det spørgsmål, den er dimensioneret til.

Vælg på forhånd, hvilke konkrete variationer du tester, og hold dem fast gennem hele testen. Forskellene skal være betydelige nok til at have reel indflydelse på den valgte succesmåling.

A/B-test: Kontrol (A) vs. Ny version (B)

Del målgruppen op uden bias

Del den valgte målgruppe i to tilfældige, lige store grupper. Den ene ser version A, den anden version B.

Alternativt kan en samlet gruppe teste begge versioner. Skal samme brugergruppe se to versioner af én løsning, bør nogle møde version A først og andre version B først. Det undgår bias fra rækkefølgen – ellers kan det være rækkefølgen og ikke versionen, du måler på.

Begge versioner præsenteres samtidigt for at undgå eksterne faktorer, der kan påvirke resultaterne. De vises til lige mange fra den målgruppe, du vil teste. Hvis opdelingen skal kunne bruges efterfølgende, bør du på forhånd fastlægge, hvordan deltagerne fordeles, så grupperne ikke bliver skæve undervejs.

For et validt A/B-test skal opdelingen være tilfældig. Den ene gruppe skal eksponeres for version A, den anden for version B. Grupperne skal være lige store.

Fastlæg randomiseringen, før testen starter. Fordelingen må ikke ændres undervejs, så grupperne bliver skæve. Det gør det sværere at bruge resultatet til at vælge en vinder.

Kør testen ens og uden indblanding

Hjælp brugeren på vej, før målingen starter. Forklar, hvad brugeren sidder med foran sig. Har du skitseret to versioner af en fremtidig digital løsning, skal brugeren forstå scenariet for fremtidig brug. Uden den forklaring tester du brugerens gætværk om formålet snarere end løsningen.

Ti stille, mens testen kører. Modstå fristelsen til at bryde ind, medmindre noget går helt galt. Vær tålmodig, og lad testen køre som planlagt – det giver de mest pålidelige resultater. Indgreb undervejs, fx at du ændrer en version eller hjælper nogle brugere særligt, gør det sværere at henføre resultatet til forskellen mellem A og B.

Testen kan gennemføres digitalt eller i direkte dialog. Uanset formen skal begge versioner præsenteres under samme vilkår, med samme introduktion og samme opgave. Ellers sammenligner du ikke versionerne.

Definér stopkriteriet, før du ser data. Du skal fx beslutte, at testen først afgøres, når du har nået et bestemt antal besøgende pr. variant. Det gør resultatet pålideligt.

Undgå at kigge på dashboardet hver dag og stoppe ved første signifikans. Det pumper risikoen for en falsk positiv op. Lad heller ikke testen køre i det uendelige og spilde trafik.

Testen skal køre i et planlagt tidsrum. Beregn på forhånd, hvor mange dage den skal køre, ud fra stikprøvestørrelsen og trafikken.

Vælg målinger og kombiner gerne med kvalitative metoder

Målingen afhænger af testens formål. Kører testen digitalt eller via spørgeskema, kan du registrere, hvilke reaktioner brugerne havde, og eventuelt hvor mange klik eller flows de gennemførte. Til en A/B-test af en hjemmeside eller annonce er klikrate (CTR), konverteringsrate og tilmeldingsrate de typiske mål. Tester du en prototype eller et tidligt forslag, bedømmes resultatet i højere grad ud fra brugerfeedback og korrekt gennemførte flows eller et andet testparameter.

A/B-test kan kombineres med kvalitative metoder. I sin simple form kan testen være et greb under et kvalitativt interview, fx sammen med en tænke-højt-test. Her kan du bede brugeren markere med en overstregningstusch, hvad der er forståeligt, og hvad der ikke er.

I et større setup kan du bede brugeren tilgå to versioner af den digitale løsning og rangere deres værdi, fx gennem et spørgeskema. Kombinationen giver to lag: den kvantitative måling viser, hvilken version der præsterede bedst, og det kvalitative materiale kan pege på, hvorfor brugerne bedre kunne lide den ene løsning frem for den anden.

En statistisk valid A/B-test bygger på en nulhypotese og en alternativ hypotese. Nulhypotesen siger, at der ikke er forskel mellem A og B. Den alternative hypotese siger, at én version præsterer bedre.

En p-værdi mindre end 0,05 svarer til et konfidensniveau på 95%. Så kan du konkludere, at forskellen er statistisk signifikant. Er p-værdien 0,14 eller 0,09, er den ikke under 0,05.

Hold den kvantitative måling adskilt fra det kvalitative materiale, når du skal vælge en vinder. Den statistiske test afgør, hvilken version der præsterede bedst. Kvalitative udsagn kan pege på hvorfor.

Fordelene og ulemperne ved A/B-test i dansk digital brugeroplevelse

Analyser resultaterne og find forklaringen

Efter en bestemt tidsperiode, eller når du har indsamlet tilstrækkelige data, analyserer du resultaterne for at se, hvilken version der præsterede bedst. Sæt tid af til at sammenfatte resultaterne, så de målte tal læses i sammenhæng med brugernes udsagn.

Er testen gennemført med kvalitative interviews, kan du sammenholde udsagn for at finde ud af, hvorfor brugerne bedre kunne lide den ene løsning frem for den anden. Er den gennemført digitalt eller via fx spørgeskema, registrerer du brugernes reaktioner og hvor mange klik eller flows, de gennemførte.

Hvis ingen version står klart stærkest, er første tjek, om de to versioner overhovedet adskilte sig betydeligt nok til at have reel indflydelse på den valgte succesmåling. En anden forklaring kan være datamaterialets størrelse, da analysen forudsætter tilstrækkelige data. Et tidligt og uafklaret resultat kan derfor betyde, at testen skal køre videre eller gentages med en større forskel mellem versionerne.

Før analysen skal stikprøvestørrelsen være beregnet. Den afhænger af baseline, MDE, signifikansniveau og statistisk styrke. MDE sættes typisk til 5–20% relativt; signifikansniveauet α er 0,05.

Statistisk styrke er sandsynligheden for at opdage en reel forbedring. Standarden er 80%. Går du op til 90% styrke, kræver det en del større stikprøve.

Signifikansniveauet er tolerancen for at erklære en vinder, der ikke er reel. Med α = 0,05 er den 5%. Ved p < 0,05 kaldes forskellen statistisk signifikant.

MDE er ikke den forventede stigning. En relativ MDE på 10% af en basislinje på 2,5% betyder, at testen skal kunne detektere 2,75% – en absolut forskel på 0,25 procentpoint. Relativ og absolut MDE er ikke udskiftelige.

Beslutningsreglen skal være fastlagt før testen. Hvis den ene version har p < 0,05 og den ønskede MDE er nået, kan den vælges som vinder. Ellers skal testen køre videre eller gentages med en større forskel.

Implementér vinderen og gentest mod en ny version

Præsterer version B bedre end version A, kan du erstatte A med B for at optimere ydeevnen. Beslutningen bør bygge på det succeskriterium, du fastlagde før testen – ikke på hvilken version der føles mest rigtig.

Har du endnu en version, du vil teste, testes den op mod B. Du ved allerede, at B klarede sig bedre end A, så version C skal klare sig bedre end B for at blive ny vinder. Den hidtidige vinder bliver dermed ny kontrolgruppe, og hver test er et trin videre i stedet for en enkeltstående måling.

Tag læringen med videre: notér brugernes reaktioner, og hvad der forklarede forskellen mellem versionerne. Så bygger næste tests variationer på viden i stedet for tilfældige ændringer.

Implementér først vinderen, når beslutningsreglen er opfyldt. Det vil sige, at stikprøvestørrelsen er nået, og at resultatet er statistisk signifikant. Beslutningen må ikke bygge på en p-værdi, der ikke er under 0,05.

Gentest mod den nye kontrolgruppe med samme plan for stikprøve, MDE, signifikansniveau og styrke. Hvis version C ikke klarer sig bedre end B, bliver B stående som vinder.