A/B-Testing datenschutzkonform betreiben

Aktuelle Rechtsprechung und Urteile

• 2020 ggf. ab Jahresmitte

  ePrivacy-Verordnung

• 2019 01.10.2019

  EuGH-Urteil bzgl. Cookie-Opt-In

• 2018 25.05.2018

  DSGVO ist nun anzuwenden

• 2016 24.05.2016

  Inkrafttreten der DSGVO

Rechtsprechung in der Praxis

Tracking-Cookies

Tracking-Cookies dürfen nicht mehr ohne echte Einwilligung der Nutzer gesetzt werden. Dabei ist es wohl egal, ob in den Cookies tatsächlich personenbezogene Daten gespeichert werden oder ob nur anonyme Daten gespeichert werden. Hierbei geht es vor allem um Marketing- und Tracking-Cookies.

Speicherung von IP-Adressen

Eine IP-Adresse eines Besuchers, die vom Website-Betreiber oder einem verwendeten Tool gespeichert wird, stellt ein (geschütztes) personenbezogenes Datum (Merkmal) dar. Als personenbezogenes Datum darf die IP-Adresse nur unter den Voraussetzungen des §15 Abs. 1 TMG gespeichert werden.

Inhaltliche Herangehensweise

Neben den technischen Aspekten, gibt es eine Reihe inhaltlicher Herangehensweisen. Diese sind oftmals abhängig vom technischen Setup bzw. der Wahl des A/B-Testing-Tools.

Testen mit wenig Traffic

Setzt man ein A/B-Testing-Tool so ein, dass Cookies gesetzt werden, bedarf es eines Opt-Ins des Besuchers. Die daraus resultierende geringere Anzahl an Probanden muss oftmals konzeptionell bedacht werden, damit signifikante Ergebnisse bei Experimenten erreicht werden können.
Folgende Aspekte sind dabei entscheidend und tragen dazu bei, auch mit weniger Probanden sinnvoll Experimentieren zu können.

Nachfolgende Tipps

Nachfolgend erhälst du vier essentielle Tipps, wie Testing in einem solchen Szenario gelingt.
Bedenke immer: Die schlechtesten Experimenten sind solche, die zu früh beendet wurden oder solche, die sich auch nach langem Warten in den gemessenen Effekten der Varianten nicht voneinander unterscheiden. Beiden fehlt es schlicht an Signifikanz und sind daher nutzlos. Trauen Sie sich etwas und rütteln Sie an der Entscheidung Ihres Besuchers. Wenn Ihre Idee nicht funktioniert, haben Sie etwas gelernt!

1. Klare Hypothesen

Eine klare und saubere Hypothese ist wichtig, um die Ergebnisse von Experimenten richtig deuten zu können. Effekte sollten den Änderungen. hervorgerufen durch eine Variante, direkt zugeordnet werden können.

Zum einen ergibt sich daraus ein gesteigertes Verständnis für den Besucher - auch, wenn ein Experiment negativ ausfüllt. Durch das Gelernte kann wiederum gezielt weiter Experimentiert werden (qualitatives Experimentieren), statt unkoordiniert viele Experimente laufen lassen zu müssen (quantitatives Experimentieren), was bei wenig Probanden schwer möglich ist.
Zum anderen sollte daraus bestenfalls - eine - klare Variante entstehen, statt mehrere Varianten mit nur geringen Unterschieden zueinander.

2. Sichtbarkeit von Experimenten

Die Sichtbarkeit beschreibt, wie viele der Besucher durch das Targeting Teil eines Experiments werden.

Auch stellt sich dabei die Frage, ob z.B. das veränderte Element an nur einer Stelle der Website vorkommt oder immer deutlich zu sehen ist.

Eine möglichst hohe Sichtbarkeit ergibt sich, wenn möglichst viele Besucher in das Experiment geraten, z.B. da das Experiment weit vorne im Funnel läuft (also z.B. Produktdetailseite statt Warenkorb in Online-Shops). Die aus der Variante resultierenden Veränderungen müssen vom Besucher dann auch direkt gesehen werden.

Die Änderungen sollten prominent platziert sein und an vielen Stellen auf der Website vorkommen.
Zum anderen sollte daraus bestenfalls - eine - klare Variante entstehen, statt mehrere Varianten mit nur geringen Unterschieden zueinander.

3. Kontrast der Varianten

Besucher, der eine Variante sehen, sehen nur diese. Sie haben keinen Vergleich. Gemessen wird einzig die Anzahl möglicher Entscheidungssänderungen beim Besucher.

Dazu folgender Gedanke: Der Besucher, der eine Variante sieht, sieht nur diese und nicht auf die andere(n). Er hat also keinen Vergleich und entscheidet darauf basierend. Gemessen wird einzig die Anzahl möglicher Entscheidungssänderungen beim Besucher.

Man stelle sich den Wurf eine Münze vor, um festzustellen, welche Seite häufiger bei der Landung oben sein wird.
Bei einer gewöhnlichen Münze, also ohne besondere Ausprägung einer Seite, wird das Verhältnis zwischen “Kopf oder Zahl” 50/50 betragen. 
Wird die Münze in der Praxis aber 10 Mal geworfen, stellt sich selten die Verteilung 5/5 ein. Vorkommen kann z.B. 7 mal Kopf, 3 mal Zahl. Nimmt man also Zahl als Grundlage an, würde eine Steigerung von 133% zugunsten von “Kopf” bedeuten.
Wird die Münze 1.000 Mal geworfen, wir das Verhältnis sich näher an der Wahrheit befinden (Gesetz der großen Zahlen).

Es wird also deutlich, dass, wenn man einen Effekt nachweisen will, man entweder viele Würfe (hier Zielauslösungen durch Probanden) benötigt oder eben eine Seite der Münze (hier Variante), die wirklich effektiv anders Ausgeprägt (gezinkt) ist, als die andere.
Bei letzterem kann man dann davon sprechen, dass der Kontrast zwischen den beiden Varianten (Seiten der Münze) so groß ist, dass eine gut nachweisbare Verhaltensänderung auftritt.

In der Praxis des A/B-Testings bedeutet das vor allem, Varianten, die der Original-Variante gegenübergestellt werden, deutliche Änderungen hervorrufen zu lassen.

Das Ausprobieren verschiedener Button-Farben oder -Beschriftungen zählt gerne zu den Negativbeispielen diesbezüglich. Solche Experimente lassen zum einen vermuten, dass keine saubere Hypothese vorhanden ist (warum sollte sich das Benutzerverhalten dadurch ändern?) und zum anderen ist die Änderungen oftmals so wenig kontraststark, dass sie kaum eine Änderungen im Besucherverhalten hervorrufen kann.

4. Micro-Conversions

Der Effekt und damit der Nutzen von Experimenten kann nur dann sauber ermittelt werden, wenn zur Auswertung die richtigen Kennzahlen betrachtet werden.

Was sind Micro-Conversions?

Je nach Geschäftsmodell ergeben sich natürlich verschiedene Hauptkennzahlen.
Am Beispiel eines Online-Shops ist das z.B. die Anzahl der Bestellungen bzw. der Umsatz. Diese Kennzahlen werden auch als Macro-Conversions bezeichnet.

Eine Micro-Conversion hingegen bezeichnet eine dem generellen Ziel der Website untergeordnete Interaktion des Besuchers.
In unserem Bespiel eines Online-Shops kann das z.B. ein Klick auf den "In den Warenkorb“-Button auf der Produktdetailseite sein.

Der Unterschied liegt, neben der Aussage, in der Häufigkeit des Auftretens dieser beiden Ziele. Beim Klick auf “In den Warenkorb” steht sicherlich eine deutlich höhere Anzahl der Zielerreichung zur Auswertung bereit.

Der Nutzen von Micro-Conversions

Findet ein Experiment z.B. auf allen Produktdetailseiten statt (z.B. Änderungen am Produktbild), ist die Messung einer Bestellung, weit vom Ort des Experiments entfernt.
Wenn also die Änderung an der Produktdetailseite zwar eine Verhaltensänderung auslöst, wir “hinten heraus” aber nur den Kauf messen, wird auch nur ein Bruchteil der Verhaltensänderung wahrnehmbar sein. Auf der “Reise” des Besuchers kann noch viel passieren.

Ein Ausweg aus diesem Dilemma ist das Betrachten von Micro-Conversions.
In unserem Beispiel kann das z.B. die Messung sein, ob ein Besucher direkt auf der Produktseite den Artikel in den Warenkorb gelegt hat. Heuristisch betrachtet gibt uns diese Aktion des Besuchers (wenn man zwei Varianten des Experiments vergleicht) Aufschluss darüber, welche Variante attraktiver ist - und aller Wahrscheinlichkeit nach auf dem Hauptzweck - dem Verkauf - gerecht wird.

Angaben auf der Datenschutzseite

Auf der Datenschutzseite einer Website sollten Informationen zur Einbindung und Datenverarbeitung des A/B-Testing-Tools bereitgestellt werden.
Hier ein Beispiel anhand des A/B-Testing-Tools „ABlyft“

Roadmap zum datenschutzkonformen A/B-Testing