Was genau ändern Sie?
| Variante | Erster Satz |
|---|---|
| A: Das Unternehmen vorstellen | „Wir entwickeln Versandverpackungen für Keramikbetriebe.“ |
| B: Ein Problem ansprechen | „Wie verpacken Sie Tassen, damit beim Versand kein Henkel abbricht?“ |
Der restliche Brief bleibt wortgleich: dasselbe Angebot für Verpackungsmuster, dieselbe Unterschrift und dieselbe Antwortadresse. Wenn B zusätzlich einen Rabatt bekommt, testen Sie auch den Rabatt. Dann lässt sich das Ergebnis nicht dem Einstieg allein zuschreiben.
Ein Testplan auf einer Seite
Beispielplan zum Kopieren
Fiktive Planung. Die 200 Briefe und 28 Tage dienen als Beispiel, nicht als Empfehlung für jeden Test.
Passen Sie Zielgruppe, Erfolgskriterium und Zeitraum vor dem Versand an. Speichern Sie den Plan zusammen mit beiden Briefversionen.
Die Gruppen aufteilen
Doppelte Unternehmen entfernen
Wählen Sie hier einen Ansprechpartner pro Firma. Sonst könnte dieselbe Firma beide Varianten erhalten.
Zufällig zuweisen
Sortieren Sie die Liste zufällig und teilen Sie sie dann möglichst gleich groß auf. Speichern Sie diese Aufteilung. Die erste Hälfte einer nach Umsatz sortierten Liste wäre kein Zufallsvergleich.
Gleich behandeln
Verschicken Sie beide Versionen im selben Zeitraum. Auch Ihr Vertrieb sollte beide Gruppen nach denselben Regeln bearbeiten.
Was zählt als Antwort?
Im Beispiel zählt eine Anfrage nach Mustern. Ein QR-Aufruf oder eine Absage zählt dafür nicht. Das legen Sie vorher fest – bevor Sie sehen, welche Variante vorne liegt.
Gleichen Sie E-Mails, Anrufe und Formulare mit der Versandliste ab. Ruft ein Unternehmen an und schreibt danach eine E-Mail, bleibt es eine Anfrage. Unklare Zuordnungen gehören in eine eigene Zeile, nicht nach Gefühl zu A oder B.
4 Antworten gegen 6: Hat B gewonnen?
| Kennzahl | A | B |
|---|---|---|
| Versendete Briefe | 100 | 100 |
| Unternehmen mit Musteranfrage | 4 | 6 |
| Anteil | 4 % | 6 % |
B liegt in diesem Test zwei Antworten vorn. Das sind zwei Prozentpunkte Unterschied, relativ betrachtet 50 Prozent mehr. „50 Prozent besser“ wäre trotzdem eine voreilige Schlagzeile: Dahinter stehen nur zwei zusätzliche Anfragen.
Wie viele Briefe Sie für einen aussagekräftigen Vergleich brauchen, hängt unter anderem von der erwarteten Antwortquote und dem Unterschied ab, den Sie erkennen wollen. Die Mindestmenge eines Briefauftrags beantwortet diese Frage nicht. Die NIST-Quellen unten erklären Zufallszuweisung und Stichprobenplanung.
Werten Sie am vorher festgelegten Tag aus. Brechen Sie nicht ab, sobald Ihr Favorit führt. Rückläufer bleiben im Beispielplan bei den versendeten Briefen mitgezählt und werden zusätzlich ausgewiesen. Wenn die Daten keinen Schluss zulassen, halten Sie genau das fest.
Häufige Fragen
Reichen 100 Briefe pro Variante?
Nicht pauschal. Bei wenigen Antworten können kleine Zufallsschwankungen den Vergleich bestimmen. Für die Planung brauchen Sie eine erwartete Antwortquote, den relevanten Unterschied und die gewünschte statistische Sicherheit.
Kann ich meine letzte Kampagne als Variante A nehmen?
Sie können die Ergebnisse nebeneinanderlegen. Haben sich Empfänger, Jahreszeit oder Nachfassen verändert, wissen Sie aber nicht, ob ein Unterschied vom Text kommt. Für einen Texttest teilen Sie dieselbe Liste zufällig auf.
Muss ich für beide Varianten eigene QR-Codes drucken?
Nein. Sie können Antworten über die gespeicherte Empfängerliste zuordnen. Wenn Sie QR-Codes nutzen, zählen deren Aufrufe zunächst separat. Ein Scan ist noch keine Musteranfrage.