Sådan planlægger du et validt A/B-test

Start med formålet og et klart succeskriterium

En A/B-test lader dig engagere målgruppen ved at teste to versioner af fx en knap, en hjemmeside eller en app. Formålet er at se, hvilken løsning der bedst løser brugernes behov eller udfordring. Metoden kan sætte retning for udviklingen og bruges på flere stadier, fra tidlige idéer til digitale prototyper.

Først identificerer du testens mål: flere tilmeldinger til et nyhedsbrev, bedre salg eller større brugerengagement på en webside. Derefter vælger du den metrik, der afgør udfaldet – typisk klikrate (CTR), konverteringsrate eller tilmeldingsrate.

Vær skarp på formål og fokus, før testen starter. Når en bruger møder to versioner, kan mange ting springe i øjnene: om teksten er forståelig, om flowet er intuitivt, eller noget tredje. Læg dig derfor fast på ét formål og præcis hvilke variationer, du vil teste. Det gør evalueringen lettere bagefter.

Eksempel: Målet kan være at måle, hvilken overskrift der giver flest tilmeldinger til et webinar om karriereudvikling. Succeskriteriet er antallet af tilmeldinger – ikke om overskriften umiddelbart virker mest fængende. Vælger du et flow eller en prototype som testobjekt, skal succeskriteriet i stedet matche det, du kan måle der: fx korrekt gennemførte flows eller brugerfeedback.

Typiske succesmål i A/B-tester

Design to versioner med en forskel, der kan mærkes

Lav to forskellige versioner af det element, du vil teste. Version A er ofte den eksisterende version (kontrol), mens version B er den nye version, hvor du har ændret en eller flere variabler.

Forskellene skal være betydelige nok til at have reel indflydelse på den valgte succesmåling. En ændret knapfarve er relevant, hvis succeskriteriet er klikrate, men flytter sjældent et mere overordnet flow- eller konverteringsmål. Design derfor variationerne og en spørgeguide samtidig, så du ved, hvad du vil spørge ind til, når versionerne er bygget.

Eksempler på variationer: to forskellige overskrifter på en landingsside med målet at få flere tilmeldinger til et webinar; en grøn »Køb nu«-knap mod en blå »Få dit tilbud nu«-knap med målet at skabe flere salg; eller produktbilleder uden modeller mod produktbilleder med modeller med målet at få flere konverteringer.

A/B-test bruges bredt: på hjemmesider, i e-mails, i annoncer og på andet indhold. Variationen kan sidde i en knap, en side, en app eller et helt flow. I søgemaskinemarkedsføring kan du teste forskellige overskrifter eller beskrivelser i Google Ads for at se, hvilke der giver højere klikrater – Google kører selv testen, hvis du udfylder flere muligheder, fx i Performance Max-kampagner. Du kan også sende klik fra en annonce til forskellige landingssider for at teste, hvilken der har den bedste konverteringsrate.

Eksempler på A/B-testvariationer og deres mål

Del målgruppen op uden bias

Del den valgte målgruppe i to tilfældige, lige store grupper. Den ene ser version A, den anden version B.

Alternativt kan en samlet gruppe teste begge versioner. Skal samme brugergruppe se to versioner af én løsning, bør nogle møde version A først og andre version B først. Det undgår bias fra rækkefølgen – ellers kan det være rækkefølgen og ikke versionen, du måler på.

Begge versioner præsenteres samtidigt for at undgå eksterne faktorer, der kan påvirke resultaterne, og de vises til lige mange fra den målgruppe, du vil teste. Hvis opdelingen skal kunne bruges efterfølgende, bør du på forhånd fastlægge, hvordan deltagerne fordeles, så grupperne ikke bliver skæve undervejs.

Kør testen ens og uden indblanding

Hjælp brugeren på vej, før målingen starter. Forklar, hvad brugeren sidder med foran sig. Har du skitseret to versioner af en fremtidig digital løsning, skal brugeren forstå scenariet for fremtidig brug. Uden den forklaring tester du brugerens gætværk om formålet snarere end løsningen.

Ti stille, mens testen kører. Modstå fristelsen til at bryde ind, medmindre noget går helt galt. Vær tålmodig, og lad testen køre som planlagt – det giver de mest pålidelige resultater. Indgreb undervejs, fx at du ændrer en version eller hjælper nogle brugere særligt, gør det sværere at henføre resultatet til forskellen mellem A og B.

Testen kan gennemføres digitalt eller i direkte dialog. Uanset formen skal begge versioner præsenteres under samme vilkår, med samme introduktion og samme opgave. Ellers sammenligner du ikke versionerne.

Vælg målinger og kombiner gerne med kvalitative metoder

Målingen afhænger af testens formål. Kører testen digitalt eller via spørgeskema, kan du registrere, hvad brugerne reagerede på, og eventuelt hvor mange klik eller flows de gennemførte. Til en A/B-test af en hjemmeside eller annonce er klikrate (CTR), konverteringsrate og tilmeldingsrate de typiske mål. Tester du en prototype eller et tidligt forslag, bedømmes resultatet i højere grad ud fra brugerfeedback og korrekt gennemførte flows eller et andet testparameter.

A/B-test kan kombineres med kvalitative metoder. I sin simple form kan testen være et greb under et kvalitativt interview, fx sammen med en tænke-højt-test. Her kan du bede brugeren markere med en overstregningstusch, hvad der er forståeligt, og hvad der ikke er.

I et større setup kan du bede brugeren tilgå to versioner af den digitale løsning og rangere deres værdi, fx gennem et spørgeskema. Kombinationen giver to lag: den kvantitative måling viser, hvilken version der præsterede bedst, og det kvalitative materiale kan pege på, hvorfor brugerne bedre kunne lide den ene løsning frem for den anden.

Analyser resultaterne og find forklaringen

Efter en bestemt tidsperiode, eller når du har indsamlet tilstrækkelige data, analyserer du resultaterne for at se, hvilken version der præsterede bedst. Sæt tid af til at sammenfatte resultaterne, så de målte tal læses i sammenhæng med brugernes udsagn.

Er testen gennemført med kvalitative interviews, kan du sammenholde udsagn for at finde ud af, hvorfor brugerne bedre kunne lide den ene løsning frem for den anden. Er den gennemført digitalt eller via fx spørgeskema, registrerer du, hvad brugerne reagerede på, og hvor mange klik eller flows de gennemførte.

Hvis ingen version står klart stærkest, er første tjek, om de to versioner overhovedet adskilte sig betydeligt nok til at have reel indflydelse på den valgte succesmåling. En anden forklaring kan være datamaterialets størrelse, da analysen forudsætter tilstrækkelige data. Et tidligt og uafklaret resultat kan derfor betyde, at testen skal køre videre eller gentages med en større forskel mellem versionerne.

Fordele og ulemper ved A/B-tester

Implementér vinderen og gentest mod en ny version

Præsterer version B bedre end version A, kan du erstatte A med B for at optimere ydeevnen. Beslutningen bør bygge på det succeskriterium, du fastlagde før testen – ikke på hvilken version der føles mest rigtig.

Har du endnu en version, du vil teste, testes den op mod B. Du ved allerede, at B klarede sig bedre end A, så version C skal klare sig bedre end B for at blive ny vinder. Den hidtidige vinder bliver dermed ny kontrolgruppe, og hver test er et trin videre i stedet for en enkeltstående måling.

Tag læringen med videre: notér, hvad brugerne reagerede på, og hvad der forklarede forskellen mellem versionerne, så næste tests variationer bygger på viden i stedet for tilfældige ændringer. Det er kombinationen af implementering, dokumenteret læring og gentest, der gør A/B-test til en cyklus.