Hvad er en split-test?

En split-test (også kaldet A/B-test) er en simpel måde at finde ud af hvad der virker bedst på din shop. Du laver to eller flere varianter af samme side, fx din forside, og lader Shoporama vise hver besøgende én af varianterne tilfældigt. Efter et stykke tid kan du se hvilken variant der gav flest salg, største kurv, eller højeste konvertering. I stedet for at gætte hvad dine kunder bedst kan lide, lader du dem stemme med deres adfærd.

Det smarte ved en split-test er at den er retfærdig. Begge varianter ses af besøgende på samme tid og under samme betingelser, så hverken vejret, sæsonen, eller en kampagne påvirker resultatet skævt. Når en variant vinder, er det fordi den reelt klarer sig bedre.

Et konkret eksempel: en grøn "Læg i kurv"-knap der konverterer 8% bedre end den røde lyder lille, men over tusindvis af besøg er det rigtige penge.

Tre slags split-tests i Shoporama

Du kan teste tre forskellige typer af ændringer mod hinanden:

1. Sidelayouts. To eller flere varianter af samme side i Sidedesigneren. Test fx to forskellige forside-layouts, to versioner af din kategoriside, eller to produkt-side-opbygninger. Du kan ændre billeder, sektioner, tekst, rækkefølge — alt der ligger i Sidedesigneren. Kræver et tema med Sidedesigneren.
2. Stylesheets. To eller flere CSS-varianter mod hinanden. Test knapfarver, fontstørrelser, layout-justeringer, eller hele design-stemninger. Hvis du ved hvordan man skriver lidt CSS (eller har en hjælper der gør), er det her du finder de overraskende vindere. Små visuelle ændringer kan have stor effekt på konverteringen.
3. Hele temaer. Splittest to af dine egne temaer mod hinanden — fra HTML-struktur til JavaScript og CSS samlet. Det er den dybeste form for test, hvor du sammenligner to fundamentalt forskellige forretningsindgange (fx en konventionel webshop vs. et single-page-flow). Kræver pro-abonnement og Smarty 4. Hvis 80% af dine optimeringer alligevel sker direkte i temafilerne, er det her du måler om de virker.

Alle tre slags fungerer på samme måde teknisk og bruger samme statistik. Du beslutter selv hvilken type test der giver mening for det du vil afprøve.

Fragtpriser split-tester du for sig under Levering → Splittest af fragtpriser, som har sin egen resultatside.

Tidsstyring — også uden split-test

Klassisk eksempel: Black Friday. I stedet for at huske at logge ind 27. november kl. 00:00 og skifte din forside, opretter du på forhånd en Black Friday-forside og siger til systemet: "Vis denne fra 27. november til og med 30. november". Resten klarer Shoporama selv.

Det fungerer for alle de store sæsoner: sommerudsalg, jul, fars dag, Singles Day, valentinsdag. Du kan have flere tidsstyrede varianter samtidig, fx en almindelig forside året rundt, en sommer-version juni-august, og en Black Friday-version i den uge. Systemet skifter automatisk mellem dem på de rigtige datoer.

Vil du kun have varianten vist på en bestemt dato, så lad "Online"-checkboxen være slået fra og udfyld kun datoerne. Så aktiveres den automatisk i intervallet og forsvinder igen når slutdatoen er passeret.

Sådan kommer du i gang

Først skal du have to varianter at teste mod hinanden:

1. Gå til Sidedesigner (eller Stylesheet hvis du vil teste CSS), find den side du vil teste, og klik på kopi-ikonet (de to ark papir) ud for sidens navn. Du får en kopi der starter offline, så du trygt kan ændre i den.
2. Tilpas kopien. Skift billede, ret tekst, omarranger sektioner. Det er det her dine kunder skal se som alternativ til originalen.
3. Sæt kopien online. Så har du nu to online varianter af samme side. Hvis du blot havde sat begge online uden test, ville den med højeste prioritet vinde og blive vist til alle. Det er her split-testen kommer ind.
4. Gå til Split-test, opret en ny test. Vælg hvad du vil teste (siden eller stylesheets), giv testen et navn ("Forside Hero A vs B"), tilføj de to varianter, sæt vægten for hver variant (start med 50/50), og klik Start testen. Nu fordeles dine besøgende automatisk, og hver bruger får tildelt én variant der følger dem ved gentagne besøg i samme browser.

Hvordan finder vi vinderen?

Bag kulisserne bruger Shoporama en moderne statistik-metode (Bayesian) til at beregne hvor sandsynligt det er at hver variant er den bedste. Du behøver ikke forstå matematikken, men i modsætning til klassiske p-værdier giver Bayesian dig svar du faktisk kan bruge: "variant B har 87% sandsynlighed for at være bedst". Sandsynligheden beregnes ud fra konverteringsraten, altså ordrer pr. besøgende. Når den sandsynlighed når 95% og der er nok data, kårer vi varianten som vinder.

Vi kårer IKKE en vinder for hurtigt. Selv hvis variant B ser bedre ud efter to dage, kan det være tilfældigheder eller en kort kampagne der pumper salget op. For at undgå falske positive vindere kræver vi:

• Mindst 1.000 besøgende pr. variant
• Mindst 100 ordrer i alt på tværs af varianterne
• Mindst 14 dages varighed (så vi dækker en hel uge-cyklus to gange)
• 95% Bayesian-sandsynlighed for at vinderen er bedst

Hvis kriterierne ikke er mødt, viser vi dig hvilken variant der er foran lige nu, men markerer tydeligt at testen ikke er afgjort. Så ved du om du skal vente eller om resultatet allerede er pålideligt.

Automation: lad systemet afgøre testen

Du behøver ikke sidde og holde øje med din test hver dag. To uafhængige indstillinger gør at systemet kan håndtere det selv:

• Stop automatisk når der er en tydelig vinder. Når kriterierne er mødt og en variant har 95%+ sandsynlighed, stopper testen automatisk ved den næste natlige gennemgang, altså inden for et døgn. Statistik-boksen kan vise vinderen allerede inden da. Du får besked i admin.
• Brug vinderen som ny standard når testen stopper. Ved sidelayouts og stylesheets sættes vinderen online med høj prioritet, og de øvrige varianter sættes offline. Ved en tema-test skiftes shoppens tema til vindertemaet, og de andre temaer røres ikke. Du har stadig dem alle i systemet, så du altid kan rulle tilbage manuelt fra variant-listen. Det virker både ved auto-stop, når du selv stopper testen, og når slutdatoen er nået, men kun hvis der er en vinder, der opfylder kravene ovenfor. Ellers bliver alt, som det var.

Med begge indstillinger slået til kan du oprette en test, klikke Start testen, og lade systemet klare resten. Stopper testen med en vinder, er din shop allerede opgraderet til den vindende version, og du har en notifikation i admin, der fortæller hvad der skete. Sæt gerne en dato i feltet "Slut (valgfrit)", så testen ikke kører videre i det uendelige, hvis der aldrig kommer nok data. Mens en test kører, er shoppens side-cache nemlig slået fra.

Statistikken du får

For hver variant viser Shoporama:

• Besøgende — antal unikke besøgende der så varianten (bots ekskluderet)
• Ordrer — antal ordrer fra besøgende der så varianten, talt når ordren bliver lagt. Annullerede eller krediterede ordrer trækkes ikke fra
• Omsætning — total omsætning pr. variant inkl. moms og fragt
• Konverteringsrate — ordrer divideret med besøgende, vist som procent
• Omsætning pr. besøgende (RPV) — et godt samlet mål, fordi den fanger både konvertering og kurvstørrelse i ét tal. Vinderen findes dog ud fra konverteringsraten
• Vinder-sandsynlighed — Bayesian-procent for at varianten er den bedste målt på konverteringsraten, vist som farvet bar

Den ledende variant er fremhævet med grøn baggrund, og når en vinder er kåret med 95%+ sandsynlighed får den et trofæ-badge. Tallene står stille mellem opdateringer indtil der kommer nye data ind, så du kan trygt genindlæse uden at se procenterne hoppe.

Vil du vide, om en variant klarer sig bedre på mobilen, i en bestemt periode, eller på hverdage frem for i weekenden, kan du filtrere tabellen. Under "Enhed" vælger du computer, mobil, eller tablet. Med "Fra" og "Til" og knappen "Vis" ser du en bestemt periode, og under "Dage" vælger du "Alle dage", "Kun hverdage (man-fre)", eller "Kun weekend (lør-søn)". Det er fx nyttigt, hvis varianterne klarer sig ens i weekenden og udvisker forskellen på hverdagene, eller hvis du vil se perioden før eller efter en uge med et nyhedsbrev. Hele tabellen følger filteret, også vinder-sandsynligheden.

En filtreret visning kårer aldrig en vinder. Automatisk stop og automatisk vinder bruger altid testens samlede tal, uanset hvad du har valgt at se. Når du ser en periode, tælles en besøgende den dag, de første gang så varianten, og en ordre den dag, den blev lagt. Konverteringsraten i en kort periode kan derfor se højere ud end den er, så sammenlign varianterne med hinanden i samme filter. Du kan læse mere om filteret i guiden til split-test.

Hvad sker der bag kulisserne?

Når en besøgende rammer din shop første gang under en kørende test, tildeler vi dem en variant baseret på trafikfordelingen. Tildelingen gemmes i en lille cookie der hedder pb_v, så de ser samme variant ved gentagne besøg i samme browser. Det er afgørende, for hvis en besøgende skifter mellem varianterne, bliver testen upålidelig. Cookien gælder dog kun den browser, den er sat i. Besøger kunden shoppen fra en anden enhed, fx telefonen i stedet for computeren, er det en ny besøgende, der kan få en anden variant og tælles på begge enheder.

Når kunden lægger en vare i kurven, gemmer vi variant-tildelingen på selve kurven. Når ordren gennemføres, tagges den med hvilken variant kunden så. Det betyder at vi kan måle reel omsætning per variant, ikke bare estimerede klik. Statistikken opdateres løbende ved hvert besøg og hver ordre. Hver nat gennemgår Shoporama desuden de kørende tests: vi vurderer om der er en vinder, stopper testen hvis du har slået automatisk stop til, og tjekker om trafikken er skævt fordelt.

Cookie og GDPR

Split-testen bruger én cookie, pb_v. Den deler ikke data med tredjeparter og bruges ikke til marketing. Shoporama behandler den som en statistik-cookie.

Cookien indeholder kun et tilfældigt besøgs-id og hvilken variant den besøgende ser. Den kan ikke læses af JavaScript på siden og udløber efter 30 dage.

Bruger du Shoporamas cookie-app, Cookie Consent, sættes cookien kun, når den besøgende har sagt ja til statistik. Har den besøgende sagt nej eller endnu ikke valgt, husker vi i stedet varianten i sessionen, så den følger den besøgende resten af besøget uden pb_v-cookien. Bruger du et andet cookie-banner, kan Shoporama ikke se den besøgendes valg, og så sættes cookien, når testen tildeler en variant. Undtagelsen er det indbyggede cookie-banner i temaerne Alaska og Alaska2, hvor et nej respekteres. Vil du have, at split-testen altid følger den besøgendes cookievalg, kræver det altså Cookie Consent.

Husk at nævne cookien i din cookiepolitik.

Bots og søgemaskiner

Googlebot, Bingbot, og andre crawlere genkendes og får altid den samme variant (den med højeste vægt i testen). De får ikke en cookie og indgår ikke i statistikken. Dine almindelige besøgende fordeles derimod efter vægtene, så de får ikke nødvendigvis den samme variant som botten. Den kanoniske URL er stabil, så Google kan rangere siden uden forstyrrelser.

Når testen er færdig

Hvis du har slået "Brug vinderen som ny standard" til, og testen har en vinder, der opfylder kravene, sker det automatisk: vinderen aktiveres, taberne sættes offline (ved en tema-test skiftes shoppens tema til vindertemaet), og du får en notifikation i admin. Hvis ikke, kan du selv klikke ind på testen og se hvilken variant der vandt, og manuelt opdatere din shop til den version.

Statistikken bevares uanset hvad. Du kan altid gå tilbage og se historiske tests og deres resultater. Det giver dig over tid et bibliotek af viden om hvad der virker for netop din butik. Du planlægger den næste test klogere fordi du har forstået dine kunder bedre.

Tips til en god test

• Test ÉN ting ad gangen. Skift kun knapfarven, eller kun overskriften, eller kun billedet. Hvis du ændrer fem ting på én gang og B vinder, ved du ikke hvad der gjorde forskellen.
• Vælg ændringer der kan gøre en reel forskel. En ændring fra grå til mørkegrå knap flytter sjældent noget. Test større visuelle eller tekstuelle ændringer først, og nørd med detaljerne senere når de store ting er optimeret.
• Lad testen køre i mindst 14 dage. Der er typisk forskel på hverdage og weekender, og en hel uges cyklus to gange giver et mere balanceret billede. Med "Dage" i statistikken kan du se hverdage og weekender hver for sig.
• Stop ikke en test tidligt fordi det "ser godt ud". Det er den klassiske fælde der giver falske positiver. Hvis du har slået "Stop automatisk når der er en tydelig vinder" til, venter systemet selv, til der er nok data.
• Hav en hypotese. Skriv ned hvad du forventer FØR testen starter ("jeg tror grøn knap konverterer 5% bedre fordi den skiller sig mere ud"). Selvom du tager fejl, lærer du noget om dine kunder.
• 50/50 er hurtigst. Hvis du er forsigtig og kun vil eksponere en ny variant til 10% af trafikken, så kør 90/10 — men accepter at det tager længere tid før der er nok data til en konklusion.

Konkrete testidéer at starte med

• For modetøj/livsstil: Test "Forårsnyheder" overskrift mod "Nye varer i butikken" på din forside, eller test et model-billede mod et flat-lay-billede.
• For boligartikler: Test "Bedst sælgende" sektion mod "Nyeste produkter" som første blok.
• For specialvarer: Test om en kort produktbeskrivelse eller en lang teknisk spec konverterer bedst.
• Universelt: Test farven på din vigtigste knap, fx "Læg i kurv". Det er en klassisk første test og hurtig at sætte op med et stylesheet.

Kombiner med tidsstyring og AI

Tidsstyring og split-test kan kombineres. Du kan fx oprette en Black Friday-forside, slå den online i den uge, og samtidig split-teste to varianter af den (rød hero vs grøn hero) for at finde ud af hvad der virker bedst netop til Black Friday-trafik. Sæsondata bliver guld værd til næste år.

Hvis du har AI-styringen aktiveret, kan du også oprette tidsstyrede sider direkte ved at chatte med din AI-klient: "Lav en Black Friday-forside der automatisk går online 27. november og slukkes efter 30. november" eller "Tag min sommerforside offline nu". Selve split-test-orchestrationen (oprette test, vælge varianter, starte/stoppe) er bevidst ikke automatiseret via AI. Det er valg du skal tage selv så ingen kommer til at starte en utilsigtet test.

Ofte stillede spørgsmål

Skal jeg være teknisk for at bruge split-test?

Nej. For sidelayouts (forsider, kategorisider osv.) klikker du dig gennem Sidedesigneren ligesom altid og kopierer med ét klik. For stylesheets skal du eller en hjælper kunne skrive lidt CSS, men resten af split-test-flowet er det samme: vælg varianter, start, vent på resultatet.

Hvor lang tid tager det før jeg har en vinder?

Det afhænger af din trafik. En shop med 5.000 besøg om dagen kan være færdig på de minimum 14 dage. En mindre shop kan have brug for 4-8 uger for at samle nok data. Hvis du ikke har 1.000 besøgende pr. variant + 100 ordrer i alt indenfor en rimelig tidsramme, stopper testen aldrig med en vinder. Har du sat en slutdato, stopper den efter slutdatoen uden vinder, og ellers kører den, til du selv stopper den. Du må selv vurdere ud fra de tal du har. Til meget små shops kan split-test alligevel være et godt redskab til at fange tydelige forskelle (fx en variant der konverterer dobbelt så godt).

Hvad sker der hvis jeg sletter en variant midt i en test?

Sletter du en side eller et stylesheet, der indgår i en kørende test, fjernes den fra testen, og dens tal forsvinder fra statistikken. Er der derefter færre end to varianter tilbage, stopper testen automatisk, og vi kårer ikke en vinder, fordi en test med kun én variant ikke giver mening. Tallene for de øvrige varianter bevares.

Påvirker det min webshops hastighed?

Ja, mens en test kører. Variant-valget sker på serveren, før siden sendes til browseren, så siden blinker ikke og skifter ikke udseende, mens den indlæses. Til gengæld er side-cachen slået fra for hele shoppen, alle sider og alle besøgende, så længe mindst én test kører, og sider uden cache er mærkbart langsommere at hente. Brugere der har deltaget i en test, får også siderne uden cache i op til 30 dage efter de har fået tildelt en variant, selv når testen er stoppet, så de altid får serveret deres tildelte version uden risiko for cache-forurening. Når der ikke kører tests, er cachen slået til for alle andre som normalt. Lad derfor ikke en test køre længere end nødvendigt.

Hvordan ved jeg om jeg skal stole på resultatet?

Vinder-sandsynligheden er din rettesnor. Under 70% — testen er for tæt, vent på mere data. 70-94% — der er en tydelig leder, men endnu ikke statistisk sikker. 95%+ med minimumskravene mødt — du kan trygt vælge vinderen som standard. Vi viser farvede bars og badges der gør det visuelt let at se hvor langt du er. Brug tallene uden filter, når du vælger vinder. I en filtreret visning kan baren godt være grøn, uden at varianten er en vinder.

Kan jeg se bort fra weekender eller en kampagneuge i resultatet?

Ja, i visningen. Vælg "Kun hverdage (man-fre)" under "Dage" i Statistik-boksen for at se bort fra weekenderne. Med "Fra" og "Til" kan du se perioden før eller efter kampagneugen. Ligger ugen midt i testen, ser du de to perioder hver for sig, ikke samlet. Filteret ændrer kun det, du ser, ikke testen.

Kan jeg køre flere split-tests samtidig?

Ja, så længe de ikke konkurrerer om samme target. Du kan godt have en split-test på forsiden OG en split-test af stylesheets samtidig — de tester forskellige ting. Men du kan ikke have to forskellige split-tests af forsiden kørende parallelt, fordi det forurener hinandens data. Systemet håndhæver reglen automatisk og giver besked hvis du forsøger.

Hvad bliver der af de varianter der taber?

De forsvinder ikke. Hvis du har slået "Brug vinderen som ny standard" til, og testen stopper med en vinder, sættes de offline (ved en tema-test skifter kun shoppens tema). Men de ligger der stadig i systemet med deres indhold intakt. Du kan altid manuelt sætte dem online igen, eller bruge dem som udgangspunkt for en ny variant. Statistikken fra den afsluttede test bevares også.

Hvad hvis flere besøgende ender på den ene variant end den anden?

Vi tjekker dagligt for skæv trafikfordeling. Hvis trafikken er klart anderledes fordelt end dine vægte (fx 70/30 i stedet for 50/50), får du en advarsel i admin. Det skyldes typisk en cache-konfiguration eller usædvanligt bot-mønster, og resultatet bør tages med forbehold indtil problemet er løst.

Bruges Omsætning pr. besøgende (RPV) til at finde vinderen?

RPV står i tabellen for hver variant og er omsætningen delt med antal besøgende. Det er et tal til din egen vurdering. Vinder-sandsynligheden og selve vinderen beregnes altid ud fra konverteringsraten, altså ordrer pr. besøgende, og ikke ud fra RPV eller omsætning. Får den ene variant flere ordrer og den anden større kurve, må du selv vurdere hvad der betyder mest for din forretning.

Hvad er forskellen på at splitteste stylesheet og tema?

Stylesheet-test er for ren CSS — knapfarver, fontstørrelser, spacing. Det er hurtigt at sætte op, og du behøver ikke et eget tema. Tema-test går videre: du sammenligner to af dine egne temaer i deres helhed, inkl. HTML-struktur, JavaScript-adfærd, sektion-opbygning, custom features. Hvis du allerede skræddersyr dit tema og vil måle om en større ombygning betaler sig, er tema-test svaret. Hvis du bare vil teste en knapfarve, er stylesheet-test nemmere.

Hvorfor kræver tema-test pro-abonnement?

Tema-test forudsætter at du har egne private temaer i shoppen — det er en pro-funktion i sig selv. Sidelayout- og stylesheet-test kræver ikke pro-abonnement. Sidelayout-test kræver dog et tema med Sidedesigneren, og af de indbyggede temaer gælder det Alaska2, California, Delaware, DelawareDK, Montana, MontanaB2B, og Washington. Tema-test er for shops der har investeret i custom design og vil måle effekten datadrevet.

Hvorfor kræver tema-test Smarty 4?

Det er en teknisk forudsætning for, at to forskellige temaer kan køre side om side i samme shop. Kun Smarty 4 holder de to temaers filer helt adskilt. Hvis din shop kører Smarty 2, kan du skifte til Smarty 4 i feltet "Smarty version" under Webshop → Generelt og dermed låse tema-test op. Står der "Styret af temaet" ved feltet, er det dit tema der bestemmer versionen.

Sender split-test data til Google Analytics?

Nej. Al statistik holdes internt i Shoporama. Du behøver ikke konfigurere noget eksternt for at få tallene.

Koster split-test ekstra?

Nej. Split-test er inkluderet i din Shoporama-løsning uden ekstra betaling, uden grænse for antal tests og uden afgift pr. besøgende. Kun tema-test kræver pro-abonnement.

Kom i gang

Find Design → Split-test i din Shoporama-admin og opret din første test. Hvis du er i tvivl om hvad du skal teste, så start med din forside. Det er den side flest af dine kunder ser, og selv små forbedringer her giver stort udbytte. Test fx to forskellige hero-billeder eller to forskellige overskrifter mod hinanden.

Har du spørgsmål, er du velkommen til at kontakte os på support@shoporama.dk.