A/B-Testing datenschutzkonform betreiben

Wie kann man Datenschutz und A/B-Testing richtig zusammenbringen?
Ist Testing überhaupt noch möglich?
Hier eine Wissenssammlung rund um dieses entscheidende Thema.

A/B-Testing und Datenschutz

01
Herausforderungen

Herausforderungen beim A/B-Testing

Im A/B-Testing werden in der Regel Cookies genutzt und personenbezogene Daten gespeichert.
Dieses White Paper gibt Hilfestellung, wie dennoch A/B-Testing sauber betrieben werden kann.

Tracking von mehr als notwendig

Mehr Daten über das Nutzerverhalten zu erfassen, als für ein A/B-Testing-Experiment notwenig ist, erschien lange Zeit als sinnvoll. So konnten z.B. einem bereits laufenden Experiment Ziele (wie z.B. Aufrufe einer bestimmten Seite durch den Besucher) nachträglich hinzugefügt werden - und funktionieren dann retrospektiv.
Mittlerweile muss vom Standpunkt „erst einmal alles über den Besucher erfassen und dann schauen, was für Informationen wir brauchen könnten“ zugunsten einer datenschutzkonformen Anwendung abgewichen werden. A/B-Testing war längst keine Trial-and-Error Disziplin des Marketings mehr. Ein Fehler kann heute teuer werden.

EuGH-Urteil bzgl. Cookies

Im Rahmen des neuen EuGH-Urteils ist das Setzen von Cookies (und damit auch das Speichern im LocalStorage) nur noch im Ausdrücklicher Einwilligung des Nutzers zulässig.
Für viele Website-Betreiber bedeutet das hinsichtlich des A/B-Testings, dass oftmals nur noch ein Bruchteil von möglichen Probanden für Experimente zur Verfügung steht.
Professionell durchgeführtes A/B-Testing beruht aber auf signifikant nachweisbaren Änderungen im Besucherverhalten, was maßgeblich von der Anzahl der Probanden abhängig ist.

Glossar

Begriffserklärungen

Begriff Erklärung
Besucher Nutzer einer Website
Seite Seite einer Website
Tracking Übersenden und Speicherung von Informationen zum Nutzer oder zum Nutzerverhalten auf der Website an das A/B-Testing-Tool
Cookie Datei, mit der der Benutzer einer Website identifiziert werden kann
LocalStorage Speicherplatz für Webanwendungen im Webbrowser des Besuchers
Experiment Probandentest mit Besuchern, ausgeführt von einem A/B-Testing-Tool
Client-seitiges Experiment Ein Experiment, welches im Browser des Besuchers ausgeführt wird - also dort die Änderungen vornimmt
Proband Ein Besucher, der an einem Experiment teilnimmt
Targeting Ausrichtung (bzw. Reduzierung der Sichtbarkeit) eines Experiments auf Besucher mit gewissen Eigenschaften (z.B. Besucher über Smartphone, wiederkehrender Nutzer) oder auf gewisse Bereiche der Website
DSGVO Datenschutz-Grundverordnung
https://de.wikipedia.org/wiki/Datenschutz-Grundverordnung
EuGH Der Europäische Gerichtshof ist das oberste rechtsprechende Organ der Europäischen Union
02
Rechtsprechung

Aktuelle Rechtsprechung und Urteile

  • 2020 ggf. ab Jahresmitte

    ePrivacy-Verordnung

  • 2019 01.10.2019

    EuGH-Urteil bzgl. Cookie-Opt-In

  • 2018 25.05.2018

    DSGVO ist nun anzuwenden

  • 2016 24.05.2016

    Inkrafttreten der DSGVO

Rechtsprechung in der Praxis

Tracking-Cookies

Tracking-Cookies dürfen nicht mehr ohne echte Einwilligung der Nutzer gesetzt werden. Dabei ist es wohl egal, ob in den Cookies tatsächlich personenbezogene Daten gespeichert werden oder ob nur anonyme Daten gespeichert werden. Hierbei geht es vor allem um Marketing- und Tracking-Cookies.

Speicherung von IP-Adressen

Eine IP-Adresse eines Besuchers, die vom Website-Betreiber oder einem verwendeten Tool gespeichert wird, stellt ein (geschütztes) personenbezogenes Datum (Merkmal) dar. Als personenbezogenes Datum darf die IP-Adresse nur unter den Voraussetzungen des §15 Abs. 1 TMG gespeichert werden.

03
Technik

Technische Herangehensweise

Breitstellung eines Opt-Outs

Diese Basisanforderung bestand schon vor der DSGVO
Auszug aus Wikipedia:
Opt-Out [...] bezeichnet [...] ein Verfahren, bei dem [...] persönliche Daten gespeichert werden, sofern der Betroffene dem nicht aktiv widersprochen hat. Das Modell bildet den Gegensatz zum Opt-In-Verfahren, bei dem [...] Speicherung eine vorherige Einwilligungserklärung des Betroffenen voraussetzen.

https://de.wikipedia.org/wiki/Opt-Out_(Permission_Marketing)

In der Praxis bedeutet das bzgl. des A/B-Testings in den meisten Fällen das Bereitstellen eines Links. Hierbei wird oftmals ein Parameter an die Domain des Seitenbetreibers gehängt, der über den Aufruf der URL das A/B-Testing-Tool über die Entscheidung des Besuchers informiert.

Opt-Out setzt oft selbst Cookie

In der Konsequenz wird dann in den allermeisten Fällen ein Cookie gesetzt, welches des A/B-Testing-Tool von der Ausspielung von Experimenten hindert und die Information speichert, dass der Nutzer dem weiteren Tracking widersprochen hat. So ist wird diese Information auch bei einem Wiederkommen des Besuchers noch zur Verfügung stehen.

Platzierung der Opt-Out-Möglichkeit

Der Link oder die Funktion zum Opt-Out sollte dem Besucher stets zugänglich sein. Ein prominenter und schlüssiger Ort stellt der entsprechende Abschnitt auf der Datenschutzseite der Website dar.

Einrichten eines Opt-Ins (Cookie Consent)

Richtet sich nach dem EuGH-Urteil bzgl. Cookies von 2019
Auszug aus Wikipedia:
Opt-In [...] ist ein ausdrückliches Zustimmungsverfahren [...], bei dem der Endverbraucher [hier Besucher - Anm. d. Verf.] vorher explizit [...]  gestatten muss. Sein Gegensatz ist ein – in vielen Fällen rechtlich unzulässiges – Opt-Out-Verfahren: Hier gilt [...] solange als akzeptiert, wie [...] ihr nicht explizit widersprochen hat.
https://de.wikipedia.org/wiki/Opt-In

In der Praxis bedeutet das bzgl. des A/B-Testings in den meisten Fällen, dass zu Beginn des Aufrufs der Website der Besucher aufgefordert wird, über die Verwendung von Cookies zu bestimmen. Hier muss er einwilligen, damit das A/B-Testing-Tool laufen darf.

Beschränkung des Trackings

Die Beschränkung des Trackings stellt den Gegenentwurf zu Verfahren dar, bei denen A/B-Testing-Tools mehr Daten speichern als für ein laufendes Experiment notwendig ist.

Beschränkung des Trackings

Reduzierung des Trackings auf das Notwendige

Häufig gespeicherte Daten

Oftmals werden folgende Daten des Besuchers durch A/B-Testing-Tools zur Speicherung übermittelt:

  • User-ID
  • IP-Adresse
  • Varianten-IDs der ausgeführten Experimente
  • Event-IDs der ausgelösten Events/Ziele
    • Werte der ausgelösten Events/Ziele (z.B. Umsatz beim Einkauf)
  • Aufgerufene Seiten

Auch ist problematisch, wenn das A/B-Testing-Tool diese Daten nicht aggregiert, sondern so speichert, dass einzelne Aktionen (Besuche, Seitenaufrufe, Zielauslösungen etc.) einem einzelnen Nutzer zuzuordnen sind.

Beschränkung der gespeicherten Daten

Eine Beschränkung würde hier im besten Fall keine personenbeziehbaren Daten (z.B. User-ID oder IP-Adresse des Besuchers - auch keine repräsentativen Hashwerte etc.) speichern. Ebenfalls würden alle Daten aggregiert gespeichert - also so hinterlegt, dass ein Rückbezug auf einen Besucher nicht mehr möglich ist und nur Verhältnisse zwischen den Varianten eines Experiments zu errechnen sind.

Weitere Dinge zur Beachtung

Beachten der “Do Not Track”-Anweisung
Schon vor der Verschärfung vieler Entwickler von Webbrowsern hinsichtlich Tracking und Privatsphäre stand schon die Möglichkeit zur Verfügung, vom Webbrowser eine sogenannte “Do Not Track”-Anweisung an die Website mitsenden zu lassen.
Wikipedia erklärt hier:
Do Not Track (DNT; englisch für „nicht verfolgen“) ist ein HTTP-Header-Feld und signalisiert einer Website oder Webanwendung den Wunsch, dass diese über die Aktivitäten des Besuchers kein Nutzungsprofil erstellt. [...] Firefox war der erste Browser, der dieses Feld unterstützte, später folgten Internet Explorer (ab Version 9), Safari, Opera, Chrome und Edge.
(https://de.wikipedia.org/wiki/Do_Not_Track_(Software))
Eine Beachtung dieses Wunsches sollte vom A/B-Testing-Tool als expliziter Opt-Out verstanden werden können.

Cookie-freies A/B-Testing

A/B-Testing ohne Cookie-Opt-In betreiben

Als Konsequenz aus dem EuGH-Urteil bzgl. Cookies ergeben sich - vor allem für client-seitige Experimente - zwei mögliche Herangehensweisen.

Einholen des Opt-Ins des Besuchers

Wenn Cookies gesetzt werden müssen, dann wird deren Verwendung vom Nutzer explizit zugestimmt. Da das nicht jeder Besucher tut, verringert sich die Anzahl der möglichen Probanden teilweise drastisch.

Oder ein Verzicht von Cookies bzgl. A/B-Tests

Ein Verzicht auf Cookies ist bei den allerwenigsten A/B-Testing-Tools möglich.
Dieser Ansatz schränkt die Nutzung eines A/B-Testing-Tools ein - vor allem, da gewisse Informationen über das Nutzerverhalten oftmals nicht mehr zum Targeting genutzt werden können.
Daher ist dieser Punkt nur zum Teil technisch zu betrachten und ist vielmehr auch eine Frage der Konzeption von Experimenten.

04
Konzeption

Inhaltliche Herangehensweise

Neben den technischen Aspekten, gibt es eine Reihe inhaltlicher Herangehensweisen. Diese sind oftmals abhängig vom technischen Setup bzw. der Wahl des A/B-Testing-Tools.

Testen mit wenig Traffic

Setzt man ein A/B-Testing-Tool so ein, dass Cookies gesetzt werden, bedarf es eines Opt-Ins des Besuchers. Die daraus resultierende geringere Anzahl an Probanden muss oftmals konzeptionell bedacht werden, damit signifikante Ergebnisse bei Experimenten erreicht werden können.
Folgende Aspekte sind dabei entscheidend und tragen dazu bei, auch mit weniger Probanden sinnvoll Experimentieren zu können.

Nachfolgende Tipps

Nachfolgend erhälst du vier essentielle Tipps, wie Testing in einem solchen Szenario gelingt.
Bedenke immer: Die schlechtesten Experimenten sind solche, die zu früh beendet wurden oder solche, die sich auch nach langem Warten in den gemessenen Effekten der Varianten nicht voneinander unterscheiden. Beiden fehlt es schlicht an Signifikanz und sind daher nutzlos. Trauen Sie sich etwas und rütteln Sie an der Entscheidung Ihres Besuchers. Wenn Ihre Idee nicht funktioniert, haben Sie etwas gelernt!

1. Klare Hypothesen

Eine klare und saubere Hypothese ist wichtig, um die Ergebnisse von Experimenten richtig deuten zu können. Effekte sollten den Änderungen. hervorgerufen durch eine Variante, direkt zugeordnet werden können.

Zum einen ergibt sich daraus ein gesteigertes Verständnis für den Besucher - auch, wenn ein Experiment negativ ausfüllt. Durch das Gelernte kann wiederum gezielt weiter Experimentiert werden (qualitatives Experimentieren), statt unkoordiniert viele Experimente laufen lassen zu müssen (quantitatives Experimentieren), was bei wenig Probanden schwer möglich ist.
Zum anderen sollte daraus bestenfalls - eine - klare Variante entstehen, statt mehrere Varianten mit nur geringen Unterschieden zueinander.

2. Sichtbarkeit von Experimenten

Die Sichtbarkeit beschreibt, wie viele der Besucher durch das Targeting Teil eines Experiments werden.

Auch stellt sich dabei die Frage, ob z.B. das veränderte Element an nur einer Stelle der Website vorkommt oder immer deutlich zu sehen ist.

Eine möglichst hohe Sichtbarkeit ergibt sich, wenn möglichst viele Besucher in das Experiment geraten, z.B. da das Experiment weit vorne im Funnel läuft (also z.B. Produktdetailseite statt Warenkorb in Online-Shops). Die aus der Variante resultierenden Veränderungen müssen vom Besucher dann auch direkt gesehen werden.

Die Änderungen sollten prominent platziert sein und an vielen Stellen auf der Website vorkommen.
Zum anderen sollte daraus bestenfalls - eine - klare Variante entstehen, statt mehrere Varianten mit nur geringen Unterschieden zueinander.

3. Kontrast der Varianten

Besucher, der eine Variante sehen, sehen nur diese. Sie haben keinen Vergleich. Gemessen wird einzig die Anzahl möglicher Entscheidungssänderungen beim Besucher.

Dazu folgender Gedanke: Der Besucher, der eine Variante sieht, sieht nur diese und nicht auf die andere(n). Er hat also keinen Vergleich und entscheidet darauf basierend. Gemessen wird einzig die Anzahl möglicher Entscheidungssänderungen beim Besucher.

Man stelle sich den Wurf eine Münze vor, um festzustellen, welche Seite häufiger bei der Landung oben sein wird.
Bei einer gewöhnlichen Münze, also ohne besondere Ausprägung einer Seite, wird das Verhältnis zwischen “Kopf oder Zahl” 50/50 betragen. 
Wird die Münze in der Praxis aber 10 Mal geworfen, stellt sich selten die Verteilung 5/5 ein. Vorkommen kann z.B. 7 mal Kopf, 3 mal Zahl. Nimmt man also Zahl als Grundlage an, würde eine Steigerung von 133% zugunsten von “Kopf” bedeuten.
Wird die Münze 1.000 Mal geworfen, wir das Verhältnis sich näher an der Wahrheit befinden (Gesetz der großen Zahlen).

Es wird also deutlich, dass, wenn man einen Effekt nachweisen will, man entweder viele Würfe (hier Zielauslösungen durch Probanden) benötigt oder eben eine Seite der Münze (hier Variante), die wirklich effektiv anders Ausgeprägt (gezinkt) ist, als die andere.
Bei letzterem kann man dann davon sprechen, dass der Kontrast zwischen den beiden Varianten (Seiten der Münze) so groß ist, dass eine gut nachweisbare Verhaltensänderung auftritt.

In der Praxis des A/B-Testings bedeutet das vor allem, Varianten, die der Original-Variante gegenübergestellt werden, deutliche Änderungen hervorrufen zu lassen.

Das Ausprobieren verschiedener Button-Farben oder -Beschriftungen zählt gerne zu den Negativbeispielen diesbezüglich. Solche Experimente lassen zum einen vermuten, dass keine saubere Hypothese vorhanden ist (warum sollte sich das Benutzerverhalten dadurch ändern?) und zum anderen ist die Änderungen oftmals so wenig kontraststark, dass sie kaum eine Änderungen im Besucherverhalten hervorrufen kann.

4. Micro-Conversions

Der Effekt und damit der Nutzen von Experimenten kann nur dann sauber ermittelt werden, wenn zur Auswertung die richtigen Kennzahlen betrachtet werden.

Was sind Micro-Conversions?

Je nach Geschäftsmodell ergeben sich natürlich verschiedene Hauptkennzahlen.
Am Beispiel eines Online-Shops ist das z.B. die Anzahl der Bestellungen bzw. der Umsatz. Diese Kennzahlen werden auch als Macro-Conversions bezeichnet.

Eine Micro-Conversion hingegen bezeichnet eine dem generellen Ziel der Website untergeordnete Interaktion des Besuchers.
In unserem Bespiel eines Online-Shops kann das z.B. ein Klick auf den "In den Warenkorb“-Button auf der Produktdetailseite sein.

Der Unterschied liegt, neben der Aussage, in der Häufigkeit des Auftretens dieser beiden Ziele. Beim Klick auf “In den Warenkorb” steht sicherlich eine deutlich höhere Anzahl der Zielerreichung zur Auswertung bereit.

Der Nutzen von Micro-Conversions

Findet ein Experiment z.B. auf allen Produktdetailseiten statt (z.B. Änderungen am Produktbild), ist die Messung einer Bestellung, weit vom Ort des Experiments entfernt.
Wenn also die Änderung an der Produktdetailseite zwar eine Verhaltensänderung auslöst, wir “hinten heraus” aber nur den Kauf messen, wird auch nur ein Bruchteil der Verhaltensänderung wahrnehmbar sein. Auf der “Reise” des Besuchers kann noch viel passieren.

Ein Ausweg aus diesem Dilemma ist das Betrachten von Micro-Conversions.
In unserem Beispiel kann das z.B. die Messung sein, ob ein Besucher direkt auf der Produktseite den Artikel in den Warenkorb gelegt hat. Heuristisch betrachtet gibt uns diese Aktion des Besuchers (wenn man zwei Varianten des Experiments vergleicht) Aufschluss darüber, welche Variante attraktiver ist - und aller Wahrscheinlichkeit nach auf dem Hauptzweck - dem Verkauf - gerecht wird.

05
Takeaways

Checkliste für den Datenschutz

Zuvor erhobene Daten

In dem Fall, dass A/B-Testing bereits länger betrieben wird (ggf. schon vor dem Inkrafttreten der DSGVO), sollte geprüft werden, welche Daten erhoben wurden und wo diese in welcher Form gespeichert werden. Es besteht die Möglichkeit, dass diese, nach heutigem Ermessen, nicht mehr zulässig sind und gelöscht werden müssen.

DSGVO-Zulässigkeit

Damit ein A/B-Testing-Tool im Rahmen der DSGVO zulässig ist, muss es einige Kriterien erfüllen. So ist unter anderem der Server-Standort ein Kriterium. Befindet er sich außerhalb der EU, könnte dies unzulässig sein. Kann der Anbieter hingegen die Teilnahme am “EU-US Privacy Shield” nachweisen, stellt dies ggf. eine Ausnahme dar.

Auftragsverarbeitung

Wenn personenbezogene Daten (z.B. IP, User ID) gespeichert werden, muss mit dem Anbieter des A/B-Testing-Tools ein Vertrag über die Auftragsverarbeitung geschlossen werden.

Einstellungen im A/B-Testing-Tool

In den Einstellungen sollten zugunsten des Datenschutzes alle Möglichkeiten ausgeschöpft werden, möglichst wenige Daten und diese anonymisiert zu verarbeiten.
U.a. ist zu überlegen, die maximale Lebensdauer der Cookies auf ein Minimum zu beschränken (“Wie lange benötigt der Besucher für eine Kaufentscheidung?”). Die Beachtung der “Do Not Track”-Anweisung sollte aktiviert werden.

Explizite Einwilligung (Opt-In)

Bezogen auf das EuGH-Urteil bzgl. Cookies muss vom Besucher eine explizite Einwilligung in das Setzen von Cookies gegeben werden. Mehr Informationen dazu findest du vorangegangen unter “Einrichten eines Opt-Ins”.

Widerspruch (Opt-Out)

Dem Besucher muss die Möglichkeit gegeben sein, das Tracking für ihn zu deaktivieren. Mehr Informationen dazu findest du vorangegangen unter “Bereitstellung eines Opt-Outs”.
Datenschutzerklärung
Auf der Website muss ist in der Datenschutzerklärung darüber zu informieren, wie mit Tracking zum A/B-Testing umgegangen wird - konkret müssen die Fragen zum Zweck und Art und Weise dargelegt werden.

06
Vorlage

Angaben auf der Datenschutzseite

Auf der Datenschutzseite einer Website sollten Informationen zur Einbindung und Datenverarbeitung des A/B-Testing-Tools bereitgestellt werden.
Hier ein Beispiel anhand des A/B-Testing-Tools „ABlyft

ABlyft

Diese Website benutzt ABlyft, einen Webanalyse-Dienst der Conversion Expert GmbH. ABlyft verwendet Cookies. Die durch Cookies erzeugten Informationen über die Benutzung unserer Website werden in der Regel an einen Server von ABlyft in Deutschland übertragen und dort gespeichert.
Eine Speicherung Ihrer IP-Adresse (auch nicht gekürzt oder gehasht) findet genauso wenig statt, wie die Speicherung einer User-ID. Im Auftrag des Betreibers dieser Website wird ABlyft aggregierte Daten benutzen, um die nicht-personenbezogene Nutzung der Website auszuwerten und um Reports über die Website-Aktivitäten zusammenzustellen.

Anbieter: ABlyft ist ein Dienst der Conversion Expert GmbH, Zeppelinring 52c, 24146 Kiel
Zweck des Trackings: ABlyft sammelt Informationen zum Nutzerverhalten, um die Nutzerfreundlichkeit der Webseite zu verbessern.
Cookie-Laufzeit: 12 Monate
Verarbeitung personenbezogener Daten: Alle Daten werden anonymisiert und aggregiert gespeichert.
Möglichkeit zur Unterbindung der Verarbeitung (Opt-Out): Sie können der Nutzung von ABlyft jederzeit über einen Klick auf folgenden Link widersprechen:
https://ihrewebsite.de/?ablyft_opt_out=true

07
Ausblick

Was erwartet uns?

A/B-Testing wird in der Anwendung immer professioneller.
Alles drum herum (leider) ebenfalls.

Verlauf der Anfragen zu A/B-Testing und Datenschutz

Konsequenzen der DSGVO und der Entscheidung des EuGh zum Setzten von Cookies

Bisher bleiben Abmahnungen noch aus bzw. verpuffen in der Rechtsprechung.
Im Rahmen der DSGVO ist davon auszugehen, dass wettbewerbsrechtliche Abmahnungen mangels Anspruchsberechtigung der Wettbewerber eines Anbieters nicht begründet werden können. Es ist von keiner spürbaren Beeinträchtigung auf die Wettbewerbsfähigkeit auszugehen.

Mit der Entscheidung des EuGh zum Setzten von Cookies könnte dies allerdings anders gesehen werden. Schließlich ist gerade A/B-Testing dazu da, mehr über seine Besucher zu lernen und sich mit den abgeleiteten Verbesserungen eines Wettbewerbsvorteil zu verschaffen. Verzichtet man hier auf einen datenschutzkonformen Betrieb, setzt man sich schnell dem Risiko von Abmahnungen aus.

Im Jahr 2020 kommt wohl die E-Privacy-Verordnung

Im Rahmen der kürzlichen deutschen Datenschutzkonferenz wurde ein Erfahrungsbericht veröffentlicht, in dem zahlreiche Änderungsvorschläge zur Anwendung der DSGVO enthalten sind. Es ist also davon auszugehen, dass sich die Rechtsprechung hier weniger entspannen als noch verschärfen wird.

Beginn einer Abmahnwelle?

Es ist nicht unwahrscheinlich, dass sich der ein oder andere Abmahnanwalt auf solche Fälle spezialisieren wird und eine Welle von Abmahnungen einige Websitebetreiber hart treffen wird.

08
Fazit

Roadmap zum datenschutzkonformen A/B-Testing

  • Wähle ein A/B-Testing-Tool, welches du „sauber“ betreiben kannst
  • Betreibe A/B-Testing „sauber“
  • Konzipiere belastbare Experimente, die auch mit wenig(er) Traffic signifikante Ergebnisse erzielen
  • Lass dich in diesen wichtigen Themen beraten! Das betrifft Datenschutz und A/B-Testing!
Bitten beachte Folgendes:
Die Conversion Expert GmbH gibt hiermit keine Rechtsberatung. Zum einen ändern sich die Umstände in diesem Thema stetig - zum anderen sind die Anforderungen teilweise recht individuell.
Gerne vermitteln wir in rechtlichen Fragen einen Partner unseres Vertrauens. Sprich uns einfach an!
Lass uns sprechen!

Kontakt

Ruf uns an unter +49 (0)431 128 05 28

Oder schreibe uns mail@conversion.expert

A/B-Testing Experte

Ich stehe dir bei allen Fragen gerne zur Verfügung!

Alexander Richter Conversion Expert GmbH
Erfahrungen & Bewertungen zu Conversion Expert GmbH