- 1: Warum Experimentation - Grundlagen und Mindset
- Von Meinungen zu Evidenz: Warum Intuition und Best Practices oft in die Irre führen und wie kontrollierte Experimente zu besseren Entscheidungen führen als Diskussionen im Meeting
- Die wissenschaftliche Methode im Business-Kontext: Wie Hypothesen formuliert, Experimente designed und Ergebnisse interpretiert werden - und warum auch negative Resultate wertvoll sind
- Experimentation als Wettbewerbsvorteil: Wie führende Unternehmen Testing-Kultur nutzen, um schneller zu lernen, Risiken zu minimieren und Innovationen datenbasiert zu skalieren
- 2: Statistische Grundlagen für Praktiker
- Grundbegriffe verstehen: Was statistische Signifikanz, Konfidenzintervalle und p-Werte bedeuten - erklärt ohne Formeln, aber mit Verständnis für die Aussagekraft
- Stichprobengröße und Testdauer berechnen: Wie bestimmt wird, wie viele Besucher oder Nutzer ein Test benötigt, um zuverlässige Ergebnisse zu liefern, und warum vorzeitiges Abbrechen gefährlich ist
- Fehlerarten und ihre Konsequenzen: Was Typ-I- und Typ-II-Fehler bedeuten, wie das Risiko falscher Schlussfolgerungen minimiert wird und warum statistische Power wichtiger ist als viele denken
- 3: Hypothesen entwickeln und priorisieren
- Von Daten zur Hypothese: Wie aus Webanalyse, Heatmaps, Nutzerfeedback und qualitativer Forschung testbare Annahmen abgeleitet werden, die echte Hebelwirkung versprechen
- Hypothesen richtig formulieren: Wie eine gute Hypothese strukturiert ist - mit klarer Annahme, messbarem Erfolgskriterium und begründeter Erwartung - und warum vage Vermutungen nicht reichen
- Priorisierung mit System: Wie Testing-Ideen nach Potenzial, Aufwand und Lernwert bewertet werden und wie Frameworks wie ICE oder PIE bei der Auswahl helfen
- 4: Testdesign und Setup
- A/B, A/B/n, Multivariate - das richtige Format wählen: Wann ein einfacher Split-Test ausreicht, wann mehrere Varianten sinnvoll sind und was bei multivariaten Tests beachtet werden muss
- Traffic-Allokation und Segmentierung: Wie Nutzer zufällig und fair auf Varianten verteilt werden, wie mit unterschiedlichen Segmenten umgegangen wird und wann Exklusion notwendig ist
- Technische Implementierung und QA: Wie Tests in gängigen Tools aufgesetzt werden, welche technischen Fallstricke lauern und wie sichergestellt wird, dass der Test misst, was er messen soll
- 5: Metriken und Erfolgsmessung
- Die richtige Metrik wählen: Wie primäre und sekundäre Metriken definiert werden, warum eine einzige North Star Metric oft nicht ausreicht und wie Proxy-Metriken sinnvoll eingesetzt werden
- Guardrail-Metriken und Trade-offs: Wie verhindert wird, dass eine Optimierung auf Kosten anderer wichtiger Kennzahlen geht, und wie unbeabsichtigte Nebenwirkungen erkannt werden
- Sensitivität und Messbarkeit: Warum manche Metriken besser für Tests geeignet sind als andere und wie die Wahl der Metrik die erforderliche Stichprobengröße beeinflusst
- 6: Auswertung und Interpretation
- Ergebnisse richtig lesen: Wie Testresultate interpretiert werden, was statistische Signifikanz tatsächlich aussagt und warum ein signifikantes Ergebnis nicht automatisch relevant ist
- Typische Auswertungsfehler vermeiden: Warum mehrfaches Hinschauen problematisch ist, wie mit multiplen Varianten umgegangen wird und was bei scheinbar widersprüchlichen Segmentergebnissen gilt
- Vom Testergebnis zur Entscheidung: Wie Ergebnisse dokumentiert, kommuniziert und in Handlungen übersetzt werden - auch wenn der Test kein klares Ergebnis liefert
- 7: Experimentation-Kultur und Skalierung
- Testing-Programme aufbauen: Wie vom einzelnen Experiment zu einer systematischen Optimierungsroutine übergegangen wird und welche Prozesse, Rollen und Ressourcen dafür benötigt werden
- Stakeholder überzeugen und Widerstände überwinden: Wie Testing-Kultur im Unternehmen verankert wird, wie mit HiPPOs (Highest Paid Persons Opinion) umgegangen wird und wie Erfolge sichtbar gemacht werden
- Lernsysteme und Wissensmanagement: Wie Erkenntnisse aus Tests systematisch dokumentiert, geteilt und für zukünftige Entscheidungen nutzbar gemacht werden
- 8: Praxisübung - Experiment von der Hypothese bis zur Auswertung
- Hypothesenentwicklung auf Basis realer Daten: Die Teilnehmenden erhalten Analysedaten und Nutzerforschung zu einem Beispielprodukt und entwickeln in Kleingruppen priorisierte Testhypothesen
- Testdesign und Stichprobenberechnung: Ausarbeitung eines vollständigen Testplans mit Varianten, Metriken, Traffic-Allokation und Berechnung der erforderlichen Laufzeit
- Auswertung simulierter Testergebnisse: Interpretation bereitgestellter Ergebnisdaten, Diskussion der statistischen Aussagekraft und Ableitung einer begründeten Entscheidung mit Präsentation und kritischem Feedback
LernzieleDieses Seminar befähigt die Teilnehmenden, A/B-Tests und kontrollierte Experimente professionell zu planen, durchzuführen und auszuwerten. Sie lernen die statistischen Grundlagen, die methodischen Fallstricke und die praktische Umsetzung in gängigen Testing-Tools und entwickeln die Kompetenz, Optimierungsentscheidungen auf belastbare Daten zu stützen.
ZielgruppenProduct Manager, UX-Verantwortliche, Conversion-Optimierer und Growth-Teams, die datenbasierte Produktentwicklung vorantreiben wollen. Ebenso Online-Marketing-Verantwortliche, E-Commerce-Manager und Webanalysten, die Kampagnen und Nutzererlebnisse systematisch verbessern möchten. Grundlegendes Verständnis für Webanalyse und digitale Produkte wird vorausgesetzt, statistische Vorkenntnisse sind hilfreich, aber nicht erforderlich.
