Was ist ein Split-Test?

Ein Split-Test (auch A/B-Test genannt) ist eine einfache Methode, um herauszufinden, was in Ihrem Shop am besten funktioniert. Sie erstellen zwei oder mehr Varianten derselben Seite, zum Beispiel Ihrer Startseite, und lassen Shoporama jedem Besucher eine der Varianten nach dem Zufallsprinzip anzeigen. Nach einiger Zeit können Sie sehen, welche Variante die meisten Verkäufe, den größten Warenkorb oder die höchste Konversion generiert hat. Anstatt zu raten, was Ihren Kunden am besten gefällt, lassen Sie sie durch ihr Verhalten abstimmen.

Das Schöne an einem Split-Test ist, dass er fair ist. Beide Varianten werden von den Besuchern zur gleichen Zeit und unter den gleichen Bedingungen gesehen, so dass weder das Wetter, die Jahreszeit noch eine Kampagne das Ergebnis verfälschen. Wenn eine Variante gewinnt, dann deshalb, weil sie tatsächlich besser abschneidet.

Ein konkretes Beispiel: Ein grüner "In den Warenkorb"-Button, der 8 % besser konvertiert als der rote, hört sich wenig an, ist aber bei Tausenden von Besuchen bares Geld wert.

Zwei Arten von Split-Tests in Shoporama

Sie können zwei verschiedene Arten von Änderungen gegeneinander testen:

1. Seitenlayouts. Zwei oder mehr Varianten der gleichen Seite im Seitendesigner. Testen Sie zum Beispiel zwei verschiedene Layouts für die Startseite, zwei Versionen Ihrer Kategorieseite oder zwei Layouts für die Produktseite. Sie können Bilder, Abschnitte, Text, Reihenfolge - alles im Seitendesigner ändern.
2. Stylesheets. Zwei oder mehr CSS-Varianten gegeneinander antreten lassen. Testen Sie Schaltflächenfarben, Schriftgrößen, Layoutanpassungen oder ganze Designstimmungen. Wenn Sie wissen, wie man ein wenig CSS schreibt (oder einen Helfer haben, der das kann), werden Sie hier die Überraschungsgewinner finden. Kleine visuelle Änderungen können eine große Auswirkung auf die Konversion haben.

Beide Arten von Tests funktionieren technisch auf die gleiche Weise und verwenden die gleichen Statistiken. Entscheiden Sie selbst, welche Art von Test für das, was Sie testen wollen, sinnvoll ist.

Zeitmanagement - auch ohne Split-Test

Klassisches Beispiel: Black Friday. Anstatt daran zu denken, sich am 28. November um 00:00 Uhr einzuloggen und die Startseite zu ändern, erstellen Sie im Voraus eine Black Friday-Startseite und sagen dem System: "Zeige dies vom 28. November bis 1. Dezember". Shoporama kümmert sich um den Rest.

Es funktioniert für alle wichtigen Jahreszeiten: Sommerschlussverkauf, Weihnachten, Vatertag, Singles Day, Valentinstag. Sie können mehrere zeitlich begrenzte Varianten gleichzeitig haben, z. B. eine reguläre Titelseite das ganze Jahr über, eine Sommerversion von Juni bis August und eine Black Friday-Version für diese Woche. Das System schaltet an den richtigen Tagen automatisch zwischen ihnen um.

Wenn Sie möchten, dass die Variante nur zu einem bestimmten Datum erscheint, lassen Sie das Kontrollkästchen "Online" deaktiviert und geben Sie nur die Daten ein. Sie wird dann automatisch in dem Intervall aktiviert und verschwindet wieder, wenn das Enddatum überschritten ist.

So fangen Sie an

Zunächst benötigen Sie zwei Varianten, die Sie gegeneinander testen können:

1. Gehen Sie zu Page Designer (oder Stylesheet, wenn Sie CSS testen wollen), suchen Sie die Seite, die Sie testen wollen, und klicken Sie auf das Kopiersymbol (die beiden Blätter) neben dem Seitennamen. Sie erhalten eine Kopie, die offline startet, so dass Sie sie gefahrlos bearbeiten können.
2. Passen Sie die Kopie an. Ändern Sie das Bild, korrigieren Sie den Text, ordnen Sie Abschnitte neu an. Dies ist die Kopie, die Ihre Kunden als Alternative zum Original sehen sollen.
3. Stellen Sie die Kopie online. Sie haben nun zwei Online-Versionen derselben Seite. Hätten Sie einfach beide online gestellt, ohne zu testen, würde diejenige mit der höchsten Priorität gewinnen und allen angezeigt werden. An dieser Stelle kommt der Split-Test ins Spiel.
4. Gehen Sie zu Splittest und erstellen Sie einen neuen Test. Wählen Sie aus, was Sie testen möchten (die Seite oder die Stylesheets), geben Sie dem Test einen Namen ("Home Hero A vs. B"), fügen Sie die beiden Varianten hinzu, wählen Sie den Traffic-Split (beginnen Sie mit 50/50) und klicken Sie auf Start. Nun werden Ihre Besucher automatisch aufgeteilt und jedem Nutzer wird eine Variante zugewiesen, die ihn bei wiederholten Besuchen verfolgt.

Wie wird der Gewinner ermittelt?

Hinter den Kulissen verwendet Shoporama eine moderne statistische Methode (Bayesian), um zu berechnen, wie wahrscheinlich es ist, dass jede Variante die beste ist. Sie müssen die Mathematik nicht verstehen, aber im Gegensatz zu den klassischen p-Werten gibt Ihnen Bayesian Antworten, die Sie tatsächlich verwenden können: "Variante B hat eine Wahrscheinlichkeit von 87 %, die beste zu sein". Wenn diese Wahrscheinlichkeit 95 % erreicht und genügend Daten vorhanden sind, erklären wir die Variante zum Sieger.

Wir entscheiden uns NICHT zu schnell für einen Gewinner. Selbst wenn Variante B nach zwei Tagen besser aussieht, könnte es sich um Zufall oder eine kurze Kampagne handeln, die den Umsatz in die Höhe treibt. Um falsch positive Gewinner zu vermeiden, benötigen wir:

• Mindestens 5.000 Aufrufe pro Variante
• Mindestens 100 Gesamtbestellungen über alle Varianten hinweg
• Mindestens 14 Tage Laufzeit (wir decken also zweimal einen vollen Wochenzyklus ab)
• 95%ige Bayes'sche Wahrscheinlichkeit, dass der Gewinner der Beste ist

Wenn die Kriterien nicht erfüllt sind, zeigen wir Ihnen, welche Variante im Moment die Nase vorn hat, weisen aber deutlich darauf hin, dass der Test noch nicht abgeschlossen ist. So wissen Sie, ob Sie noch warten müssen oder ob das Ergebnis bereits verlässlich ist.

Automatisierung - einstellen und vergessen

Sie müssen sich nicht jeden Tag mit Ihrem Test beschäftigen. Zwei unabhängige Einstellungen ermöglichen es dem System, dies selbst zu erledigen:

• Automatisch stoppen, wenn es einen klaren Gewinner gibt. Sobald die Kriterien erfüllt sind und eine Variante eine Wahrscheinlichkeit von 95%+ hat, stoppt der Test automatisch. Sie werden in der Verwaltung benachrichtigt.
• Verwenden Sie den Gewinner als neuen Standard, wenn der Test beendet wird. Die Gewinnervariante wird mit hoher Priorität online gestellt und die anderen Varianten werden offline gestellt. Sie haben sie alle noch im System, so dass Sie jederzeit manuell über die Variantenliste zurückgehen können. Dies funktioniert sowohl bei der automatischen Beendigung als auch bei der manuellen Beendigung des Tests selbst.

Wenn beide Optionen aktiviert sind, können Sie einen Test erstellen, auf Start klicken und ihn dann vergessen. Sobald der Test beendet ist, wird Ihr Shop bereits auf die Gewinnerversion aktualisiert und Sie erhalten in der Verwaltung einen Hinweis, was passiert ist.

Die Statistiken, die Sie erhalten

Für jede Variante zeigt Shoporama an:

• Aufrufe - Anzahl der Seitenaufrufe der Variante (ohne Bots)
• Bestellungen - Anzahl der abgeschlossenen Bestellungen von Besuchern, die die Variante angesehen haben
• Umsatz - Gesamtumsatz pro Variante inklusive Mehrwertsteuer und Versand
• Konversionsrate - Bestellungen geteilt durch Aufrufe, angegeben in Prozent
• Umsatz pro Besucher (RPV) - der wichtigste KPI im E-Commerce, da er sowohl die Konversion als auch die Größe des Warenkorbs in einer Zahl erfasst
• Gewinnwahrscheinlichkeit - Bayesscher Prozentsatz der besten Variante, dargestellt als farbiger Balken

Die führende Variante ist grün hinterlegt und erhält eine Trophäe, wenn sie mit einer Wahrscheinlichkeit von 95%+ zum Sieger erklärt wird. Die Zahlen bleiben zwischen den Aktualisierungen stehen, bis neue Daten eintreffen, so dass Sie ohne Bedenken neu laden können, ohne dass die Prozentsätze sprunghaft ansteigen.

Was geschieht hinter den Kulissen?

Wenn ein Besucher während eines laufenden Tests zum ersten Mal auf Ihren Shop zugreift, ordnen wir ihm auf der Grundlage der Verkehrsverteilung eine Variante zu. Diese Zuweisung wird in einem kleinen Cookie namens pb_v gespeichert, damit er bei wiederholten Besuchen dieselbe Variante sieht. Dies ist von entscheidender Bedeutung. Wenn der Kunde gestern Variante A auf dem Telefon und heute Variante B auf dem Laptop gesehen hat, war das kein gültiger Test mehr.

Wenn der Kunde einen Artikel in den Warenkorb legt, speichern wir die Variantenzuordnung im Warenkorb selbst. Wenn die Bestellung abgeschlossen ist, wird sie mit dem Vermerk versehen, welche Variante der Kunde gesehen hat. Das bedeutet, dass wir den tatsächlichen Umsatz pro Variante messen können, nicht nur die geschätzten Klicks. Jede Nacht wird ein Skript ausgeführt, das die Statistiken aktualisiert und Tests, die Signifikanz erreicht haben, automatisch stoppt.

Cookie und GDPR

Für Split-Tests müssen Sie nichts tun, um die GDPR einzuhalten. Es handelt sich um ein funktionales Cookie, das keine Daten an Dritte weitergibt und nicht für Marketingzwecke verwendet wird.

Das Cookie enthält nur eine zufällige Besucher-ID und eine Zuordnung zu der vom Benutzer angezeigten Variante. Es kann nicht von JavaScript auf der Seite gelesen werden, wird nur bei der Navigation der ersten Partei gesendet und läuft nach 30 Tagen ab. Wenn Besucher Cookies über Ihr Cookie-Banner ablehnen, wird das Cookie nicht gesetzt. Stattdessen verwenden wir ein sitzungsbasiertes Fallback, das dem Benutzer für den Rest der Sitzung folgt, ohne auf die Festplatte zu schreiben.

Sie sollten das Cookie als Funktions-/Präferenz-Cookie in Ihre Cookie-Richtlinie aufnehmen. Wir zeigen auch einen diskreten Hinweis in der Split-Test-Verwaltung an, um Sie daran zu erinnern. Die dänische Datenschutzbehörde betrachtet klebrige A/B-Test-Cookies als funktionale Cookies, die keine ausdrückliche Zustimmung zum Marketing erfordern.

Bots und Suchmaschinen

Googlebot, Bingbot und andere Crawler erhalten immer die gleiche Variante (diejenige mit dem höchsten Traffic-Gewicht im Test). Sie erhalten keinen Cookie und werden nicht in die Statistik aufgenommen. Dies ist weder ein Cloaking- noch ein SEO-Problem, da wir keine unterschiedlichen Inhalte je nach User-Agent ausliefern - alle neuen Besucher erhalten die gleiche Auswahl wie der Bot. Die kanonische URL ist stabil, so dass Google die Seite ohne Beeinträchtigung ranken kann.

Wenn der Test abgeschlossen ist

Wenn Sie die Option "Gewinner als neuen Standard verwenden" aktiviert haben, geschieht dies automatisch: Der Gewinner wird aktiviert, die Verlierer werden offline genommen und Sie erhalten eine Benachrichtigung. Wenn nicht, können Sie selbst in den Test klicken, um zu sehen, welche Variante gewonnen hat, und Ihren Shop manuell auf diese Version aktualisieren.

Die Statistiken bleiben auf jeden Fall erhalten. Sie können jederzeit zurückgehen und sich historische Tests und deren Ergebnisse ansehen. Im Laufe der Zeit erhalten Sie so ein umfassendes Wissen darüber, was in Ihrem Shop funktioniert. Sie werden den nächsten Test besser planen können, weil Sie Ihre Kunden besser verstehen.

Tipps für einen guten Test

• Testen Sie immer nur EINE Sache auf einmal. Ändern Sie nur die Farbe der Schaltflächen oder nur die Kopfzeile oder nur das Bild. Wenn Sie fünf Dinge auf einmal ändern und B gewinnt, werden Sie nicht wissen, was den Unterschied ausgemacht hat.
• Wählen Sie Änderungen, die einen wirklichen Unterschied machen können. Ein Wechsel von einer grauen zu einer dunkelgrauen Schaltfläche bewirkt kaum etwas. Testen Sie zuerst die großen visuellen oder textlichen Änderungen und beschäftigen Sie sich später mit den Details, wenn die großen Dinge optimiert sind.
• Lassen Sie den Test mindestens 14 Tage lang laufen. In der Regel gibt es einen Unterschied zwischen Wochentagen und Wochenenden, und ein Zyklus von zwei vollen Wochen ergibt ein ausgewogeneres Bild.
• Brechen Sie einen Test nicht vorzeitig ab, nur weil er "gut aussieht". Dies ist die klassische Falle, die zu falsch positiven Ergebnissen führt. Wenn Sie das Signifikanz-Stoppen aktiviert haben, wartet das System automatisch, bis genügend Daten vorhanden sind.
• Stellen Sie eine Hypothese auf. Schreiben Sie auf, was Sie erwarten, BEVOR der Test beginnt ("Ich denke, dass die grüne Schaltfläche 5 % besser konvertiert, weil sie mehr auffällt"). Selbst wenn Sie falsch liegen, lernen Sie etwas über Ihre Kunden.
• 50/50 ist am schnellsten. Wenn Sie vorsichtig sind und eine neue Variante nur 10 % des Traffics ausgesetzt werden soll, führen Sie 90/10 durch - akzeptieren Sie aber, dass es länger dauert, bis Sie genügend Daten für eine Schlussfolgerung haben.

Konkrete Testideen für den Anfang

• Für Mode/Lifestyle: Testen Sie die Schlagzeile "Frühjahrsneuheiten" gegen "Neue Artikel im Laden" auf Ihrer Titelseite, oder testen Sie ein Modellbild gegen ein flaches Bild.
• Für Haushaltswaren: Testen Sie die Rubrik "Bestseller" gegen die Rubrik "Neueste Produkte" als ersten Block.
• Bei Spezialartikeln: Testen Sie, ob eine kurze Produktbeschreibung oder eine lange technische Beschreibung am besten ankommt.
• Universell: Testen Sie die Farbe Ihrer Hauptschaltfläche. Der klassische CRO-Test zeigt, dass kleine Farbänderungen die Konversionsrate oft um 3-10 % erhöhen.

Kombinieren Sie mit Zeitmanagement und KI

Zeitmanagement und Split-Tests können miteinander kombiniert werden. Sie können zum Beispiel eine Startseite für den Black Friday erstellen, sie für diese Woche online stellen und gleichzeitig zwei Varianten davon testen (roter Held vs. grüner Held), um herauszufinden, was am besten für den Black Friday-Traffic funktioniert. Saisonale Daten werden nächstes Jahr Gold wert sein.

Wenn Sie die KI-Steuerung aktiviert haben, können Sie auch direkt zeitgesteuerte Seiten erstellen, indem Sie mit Ihrem KI-Client chatten: "Erstellen Sie eine Black Friday-Landingpage, die automatisch am 28. November online und am 1. Dezember offline geht" oder "Nehmen Sie meine Sommer-Landingpage jetzt offline". Die Orchestrierung der Split-Tests selbst (Test erstellen, Varianten auswählen, starten/stoppen) wird bewusst nicht durch KI automatisiert. Dies sind Entscheidungen, die Sie selbst treffen müssen, damit niemand aus Versehen einen Test startet.

Häufig gestellte Fragen

Muss ich technisch versiert sein, um Split-Tests durchzuführen?

Nein, brauchen Sie nicht. Für Seitenlayouts (Titelseiten, Kategorieseiten usw.) klicken Sie sich wie immer durch den Seitendesigner und kopieren mit einem Klick. Für Stylesheets müssen Sie oder ein Helfer in der Lage sein, CSS zu schreiben, aber der restliche Ablauf des Split-Tests ist derselbe: Varianten auswählen, starten, auf das Ergebnis warten.

Wie lange dauert es, bis ich einen Gewinner habe?

Das hängt von Ihrem Traffic ab. Ein Shop mit 5.000 Besuchern pro Tag kann in mindestens 14 Tagen fertig sein. Ein kleinerer Shop braucht vielleicht 4-8 Wochen, um genügend Daten zu sammeln. Wenn Sie nicht innerhalb eines angemessenen Zeitraums 5.000 Aufrufe pro Variante + 100 Gesamtbestellungen haben, wird der Signifikanzstopp nie ausgelöst, und Sie müssen manuell auf der Grundlage der Ihnen vorliegenden Zahlen bewerten. Für sehr kleine Shops können Split-Tests dennoch ein gutes Instrument sein, um offensichtliche Unterschiede zu erkennen (z. B. eine Variante, die doppelt so gut konvertiert).

Was passiert, wenn ich eine Variante in der Mitte eines Tests lösche?

Wenn der Test aufgrund einer Löschung unter zwei Varianten fällt, wird er automatisch abgebrochen. Die gesammelten Daten bleiben als Historie der markierten Aufträge erhalten, aber der Test kann nicht fortgesetzt werden. Wir wählen in dieser Situation keinen "Gewinner" aus, da ein Test mit nur einer Variante keinen Sinn macht.

Beeinträchtigt es die Geschwindigkeit meines eCommerce-Shops?

Kaum. Die Variantenauswahl findet auf dem Server statt, bevor das HTML gerendert wird, so dass es kein Flackern oder eine Verzögerung im Browser gibt. Die einzigen zusätzlichen Kosten sind eine schnelle Dateiprüfung und eine Datenbankabfrage pro Besuch während eines aktiven Tests. Wenn keine Tests laufen, ist der Overhead minimal. Der Cache wird jedoch deaktiviert, während ein Test läuft und auch für Benutzer, die an einem Test teilgenommen haben (bis zu 30 Tage, nachdem ihnen eine Variante zugewiesen wurde), so dass sie immer die ihnen zugewiesene Version erhalten, ohne dass das Risiko einer Cache-Kontamination besteht.

Woher weiß ich, ob ich dem Ergebnis vertrauen kann?

Die Gewinnwahrscheinlichkeit ist Ihr Richtwert. Unter 70 % - der Test ist zu knapp, warten Sie auf weitere Daten. 70-94 % - es gibt einen klaren Spitzenreiter, aber noch keine statistische Sicherheit. 95 % und mehr, wenn die Mindestanforderungen erfüllt sind - Sie können den Gewinner mit Sicherheit wählen. Wir zeigen farbige Balken und Abzeichen an, damit Sie leicht erkennen können, wie weit Sie sind.

Kann ich mehrere Split-Tests gleichzeitig durchführen?

Ja, solange sie nicht um dasselbe Ziel konkurrieren. Sie können einen Split-Test für die Startseite UND einen Split-Test für das Stylesheet gleichzeitig durchführen - sie testen unterschiedliche Dinge. Aber Sie können nicht zwei verschiedene Vorderseiten-Split-Tests parallel laufen lassen, weil dadurch die Daten des jeweils anderen verschmutzt werden. Das System setzt diese Regel automatisch durch und wird Sie benachrichtigen, wenn Sie es versuchen.

Was passiert mit den Varianten, die verlieren?

Sie verschwinden nicht. Wenn Sie die automatische Gewinnerübernahme aktiviert haben, werden sie offline genommen. Sie sind aber immer noch im System vorhanden und ihr Inhalt ist intakt. Sie können sie jederzeit manuell wieder online stellen oder sie als Ausgangspunkt für eine neue Variante verwenden. Die Statistiken des abgeschlossenen Tests bleiben ebenfalls erhalten.

Was passiert, wenn mehr Besucher auf einer Variante landen als auf der anderen?

Wir prüfen täglich, ob der Traffic schief verteilt ist. Wenn der Traffic deutlich anders verteilt ist als Ihre Gewichte (z.B. 70/30 statt 50/50), erhalten Sie eine Warnung im Adminbereich. Dies ist in der Regel auf eine Cache-Konfiguration oder ein ungewöhnliches Bot-Muster zurückzuführen und das Ergebnis sollte mit Vorsicht genossen werden, bis das Problem behoben ist.

Wann wird der Umsatz pro Besucher (Revenue per Visitor, RPV) angezeigt?

Der RPV wird berechnet, sobald es Bestellungen für eine Variante gibt, aber wir benötigen mindestens 30 Bestellungen pro Variante, bevor wir eine statistisch zuverlässige RPV-basierte Antwort geben können. Bis dahin können Sie die rohen Zahlen sehen und die Konversionsrate als primären KPI verwenden.

Werden bei Split-Tests Daten an Google Analytics gesendet?

Nein, das ist nicht der Fall. Alle Statistiken werden intern in Shoporama gespeichert. Sie müssen nichts Externes konfigurieren, um die Zahlen zu erhalten.

Kostet Split-Testing extra?

Nein, das ist nicht nötig. Sie sind in Ihrer Shoporama-Lösung enthalten, ohne zusätzliche Kosten, ohne Begrenzung der Anzahl der Tests und ohne Kosten pro Besucher. Sie können so viele Tests durchführen, wie Sie wollen und so lange Sie wollen.

Starten Sie

Wählen Sie Design → Split-Tests in Ihrer Shoporama-Verwaltung und erstellen Sie Ihren ersten Test. Wenn Sie nicht sicher sind, was Sie testen sollen, beginnen Sie mit Ihrer Startseite. Das ist die Seite, die die meisten Ihrer Kunden sehen, und selbst kleine Verbesserungen können hier große Vorteile bringen. Testen Sie zum Beispiel zwei verschiedene Hero-Bilder oder zwei verschiedene Überschriften gegeneinander.

Wenn Sie Fragen haben, können Sie sich gerne an uns wenden: support@shoporama.dk.