A/B-Test mit wenig Traffic: Was ich kleinen Teams heute raten würde

Ein A/B-Test mit wenig Traffic lohnt sich aus meiner Sicht nur, wenn du große Unterschiede erwartest oder an einer Stelle mit hoher Conversion testest. Für kleine Effekte brauchst du schnell zehntausende Besucher pro Variante, und die haben die meisten kleinen Teams nicht. Dann bringen dich Nutzertests, Gespräche und mutige Änderungen oft schneller weiter als ein Test, der monatelang läuft.

Ich mag A/B-Tests. Aus meiner Zeit in der Business Intelligence bei Snipes kenne ich die Arbeit mit Daten und Tracking, und ich weiß, wie verführerisch eine saubere Testauswertung ist. Gerade deshalb bin ich heute vorsichtig: Für die meisten Startups und Selbstständigen am Anfang halte ich klassische A/B-Tests für das falsche Werkzeug. Ein schlecht dimensionierter Test liefert eine Scheinsicherheit, die mir gefährlicher vorkommt als ein ehrliches Bauchgefühl.

Wie ein A/B-Test funktioniert

Bei einem A/B-Test teilst du deine Besucher zufällig in zwei Gruppen. Gruppe A sieht die bisherige Version, Gruppe B eine veränderte. Danach vergleichst du, welche Version eine bestimmte Kennzahl besser bewegt, meist die Conversion Rate.

Der Haken: Zwei Gruppen unterscheiden sich immer ein wenig, auch wenn beide dieselbe Seite sehen. Zufall erzeugt Schwankungen. Aussagekräftig ist ein Test erst, wenn der Unterschied zwischen A und B größer ist, als der Zufall allein erklären würde. Dafür brauchst du genug Besucher.

Wie viel Traffic du wirklich brauchst

Für eine erste Abschätzung hilft mir eine einfache Faustformel. Sie gilt für die üblichen Einstellungen, also 95 % Sicherheit und 80 % Wahrscheinlichkeit, einen echten Effekt auch zu finden:

Besucher pro Variante ≈ 16 × p × (1 minus p) / d²

Dabei ist p deine aktuelle Conversion Rate und d der absolute Unterschied, den du erkennen willst.

Ein Rechenbeispiel

Angenommen, deine Landingpage konvertiert mit 3 %. Du willst wissen, ob eine neue Überschrift das um 20 % verbessert, also auf 3,6 %. Der absolute Unterschied beträgt 0,6 Prozentpunkte.

16 × 0,03 × 0,97 / 0,006² ergibt rund 12.900 Besucher pro Variante. Zusammen also knapp 26.000 Besucher.

Basis-Conversion	Erwartetes Plus	Besucher pro Variante	Dauer bei 2.000 Besuchern im Monat
3 %	+20 % (auf 3,6 %)	rund 12.900	rund 13 Monate
3 %	+50 % (auf 4,5 %)	rund 2.070	rund 2 Monate
20 %	+20 % (auf 24 %)	rund 1.600	rund 7 Wochen
20 %	+50 % (auf 30 %)	rund 260	rund 1 Woche

Die Tabelle zeigt mir zwei Dinge. Erstens: Kleine Verbesserungen kannst du mit wenig Traffic praktisch nicht nachweisen. Zweitens: Je höher die Basisrate, desto weniger Besucher brauchst du.

Für genauere Werte gibt es kostenlose Rechner, zum Beispiel den Sample Size Calculator von Evan Miller. Mein Rat: vor dem Start rechnen, nicht danach.

Ein A/B-Test, den du vor dem Start nicht durchgerechnet hast, liefert dir am Ende vor allem Zufall mit Nachkommastellen.

Wann A/B-Tests für kleine Teams sinnvoll sind

Trotz der Rechnung sehe ich Situationen, in denen sich ein klassischer Test auch für kleine Teams lohnen kann:

• Du testest eine große Änderung. Ein komplett anderes Angebot, ein anderer Preis, eine neue Seitenstruktur. Große Änderungen erzeugen große Effekte, und die erkennst du mit weniger Traffic.
• Du testest weit oben im Funnel. Klicks auf einen Button oder das Öffnen einer E-Mail haben hohe Basisraten. Bei E-Mail-Betreffzeilen können bei deutlichen Unterschieden schon einige hundert Empfänger pro Variante reichen.
• Die Entscheidung ist teuer. Wenn eine Änderung viel Geld oder Arbeit kostet, lohnt sich ein langer Test eher als bei einer kleinen Textanpassung.
• Dein Traffic ist durch Anzeigen planbar. Mit Budget kannst du gezielt genug Besucher auf zwei Varianten schicken.

Wenn nichts davon passt, würde ich mir den Test sparen. Setz die Änderung um, die du für besser hältst, und dokumentiere sauber, was du getan hast.

Alternativen bei wenig Traffic

Die folgenden Methoden zeigen mit wenigen Menschen viel. Sie sind statistisch weniger sicher, liefern aber Antworten in Tagen statt Monaten und oft auch das Warum.

Nutzertests mit fünf bis acht Personen

Gib fünf Menschen aus deiner Zielgruppe eine konkrete Aufgabe: „Finde heraus, was das kostet, und buch einen Termin.“ Schau zu, ohne zu helfen, und lass sie laut denken. Die größten Stolpersteine zeigen sich meist schon bei den ersten drei Personen. Solche Beobachtungen finde ich für die Conversion-Optimierung oft wertvoller als jede Zahl.

Kundengespräche

Frag Menschen, die gerade gekauft haben, was sie fast vom Kauf abgehalten hätte. Frag Menschen, die abgesprungen sind, was gefehlt hat. Aus den Antworten entstehen die Hypothesen für deine nächsten Änderungen. Wie du solche Gespräche führst, ohne dass dir aus Höflichkeit etwas erzählt wird, steht in Kundengespräche führen.

Session-Aufzeichnungen und Heatmaps

Aufzeichnungen zeigen, wo Besucher scrollen, klicken und abbrechen. Zwanzig Aufzeichnungen von Besuchern, die nicht konvertiert haben, sind ein guter Start. Achte dabei auf Datenschutz und Einwilligung.

Fake-Door-Tests

Wenn du wissen willst, ob eine neue Funktion oder ein neues Paket gefragt ist, bau einen Button oder eine Angebotsseite, bevor es das Angebot gibt. Wer klickt, bekommt einen ehrlichen Hinweis und kann sich vormerken lassen. Die Klickrate zeigt das Interesse, bevor du Arbeit investierst.

Vorher-nachher mit Dokumentation

Ändere eine Sache, notiere Datum und Änderung und vergleiche die Wochen davor mit den Wochen danach. Das ist schwächer als ein A/B-Test, weil Saison und Kampagnen mitspielen. Bei großen Änderungen halte ich es trotzdem für ein brauchbares Signal. Voraussetzung ist sauberes Conversion Tracking, sonst vergleichst du Rauschen mit Rauschen.

Ein Testplan für ein kleines Team

Angenommen, eine Steuerberaterin hat 1.500 Besucher im Monat auf ihrer Website, und 2 % davon fragen einen Termin an. Ein klassischer A/B-Test für eine neue Überschrift würde bei dieser Basis weit über ein Jahr dauern. So würde ich stattdessen einen Vier-Wochen-Plan aufbauen:

1. Woche 1: Fünf Nutzertests mit Menschen aus der Zielgruppe, jeweils mit derselben Aufgabe: „Finde heraus, ob diese Kanzlei zu deinem Unternehmen passt, und frag einen Termin an.“ Dazu zwanzig Session-Aufzeichnungen von Besuchern ohne Anfrage.
2. Woche 2: Aus den Beobachtungen die drei häufigsten Stolpersteine notieren und mit dem ICE Score bewerten. Den stärksten als Hypothese aufschreiben.
3. Woche 3: Die Änderung umsetzen, und zwar deutlich. Eine neue Seitenstruktur mit Preisrahmen und klarer Zielgruppe statt einer neuen Buttonfarbe. Datum und Änderung dokumentieren.
4. Woche 4 und folgende: Anfragen pro 100 Besucher wöchentlich mit den Wochen davor vergleichen und parallel jede neue Mandantin fragen, was sie zur Anfrage bewegt hat.

Der Plan liefert keine statistische Gewissheit, aber nach einem Monat eine begründete Entscheidung. Das ist mir mehr wert als ein Test, der im nächsten Jahr endet.

Saubere Hypothesen schreiben

Egal ob A/B-Test oder Alternative: Am Anfang steht eine Hypothese. Ohne sie weißt du hinterher nicht, was du eigentlich gelernt hast. Diese Vorlage finde ich hilfreich:

Weil wir [Beobachtung] gesehen haben, glauben wir, dass [Änderung] bei [Zielgruppe] zu [Wirkung] führt. Wir messen das an [Kennzahl]. Wir übernehmen die Änderung, wenn [Entscheidungsregel].

Ein ausgedachtes Beispiel: „Weil fünf von sechs Testpersonen den Preis auf der Leistungsseite nicht gefunden haben, glauben wir, dass eine Preisübersicht direkt unter dem Einstieg bei Erstbesuchern zu mehr Terminanfragen führt. Wir messen das an Terminanfragen pro 100 Besucher. Wir übernehmen die Änderung, wenn die Rate über vier Wochen nicht sinkt.“

Drei Dinge machen diese Hypothese für mich gut. Sie beruht auf einer echten Beobachtung. Sie nennt eine einzige Kennzahl. Und sie legt die Entscheidungsregel fest, bevor die Ergebnisse da sind. So rechnest du dir hinterher nichts schön.

Um aus vielen Hypothesen eine auszuwählen, hilft ein einfaches Raster wie der ICE Score. Wie du daraus einen festen Rhythmus machst, beschreibe ich in Wachstumsexperimente planen.

Typische Fehler bei A/B-Tests

• Zu früh abbrechen: Wer täglich auf die Zahlen schaut und stoppt, sobald B vorn liegt, findet fast immer einen Gewinner. Meist ist es Zufall.
• Zu viele Varianten: Jede weitere Variante teilt deinen Traffic und verlängert den Test.
• Mehrere Kennzahlen gleichzeitig: Wer zehn Zahlen misst, findet in einer davon zufällig einen Unterschied.
• Kleine Details testen: Die Farbe eines Buttons bewegt selten genug, um sie mit wenig Traffic messen zu können.
• Kein Tracking-Check vorher: Wenn Conversions doppelt oder gar nicht gezählt werden, ist der Test wertlos.

Wenn du regelmäßig Ideen für Experimente mit kleinem Budget lesen willst, trag dich für die Unternehmer Thoughts ein.

Fazit

A/B-Tests sind ein starkes Werkzeug, wenn du genug Traffic hast. Mit wenig Traffic lohnen sie sich aus meiner Sicht nur für große Änderungen oder Stellen mit hoher Basisrate. Rechne die Stichprobe vor dem Start aus, und wenn das Monate dauern würde, nimm lieber Nutzertests, Gespräche und dokumentierte Änderungen. Das ist mein Stand heute.

Dein nächster Schritt: Nimm die Seite, die dir am wichtigsten ist, und trag ihre Besucherzahl und Conversion Rate in die Faustformel ein. Wenn der Test länger als acht Wochen dauern würde, lade diese Woche lieber fünf Menschen aus deiner Zielgruppe zu einem kurzen Nutzertest ein.