📌 Gute Wissenschaftliche Praxis – Cheat Sheet*
🔍 1. Einführung in die Gute Wissenschaftliche Praxis (GWP)
- Definition: GWP umfasst Prinzipien zur Sicherstellung der Integrität und Reproduzierbarkeit wissenschaftlicher Forschung.
- Ziel: Vermeidung wissenschaftlichen Fehlverhaltens, Transparenz und Qualitätssicherung.
Probleme in der Wissenschaft:
- Ioannidis (2005): „Most published research findings are false“.
- Replikationskrise: Viele Studienergebnisse sind nicht reproduzierbar.
- Fehlverhalten: P-Hacking, HARKing, Publikationsbias.
📊 2. Multiplicity – Das Problem der Vielfältigkeit von Analysestrategien
- Ein Problem in der Datenanalyse: Verschiedene Analysestrategien können zu unterschiedlichen Ergebnissen führen.
- Silberzahn et al. (2018):
- 29 Forschungsteams analysierten denselben Datensatz.
- 20 Teams fanden signifikante Ergebnisse, 9 Teams nicht.
- 21 unterschiedliche Kombinationen von Kovariaten wurden verwendet.
- → Analyseentscheidungen beeinflussen stark das Ergebnis.
Unsicherheitsquellen in der Datenanalyse:
- Messunsicherheit
- Datenvorverarbeitung (Data Preprocessing Uncertainty)
- Parameterunsicherheit
- Modellunsicherheit
- Methodenunsicherheit
⚠️ 3. Researcher Degrees of Freedom
- Forscher haben viele Freiheitsgrade bei der Datenerhebung und -analyse.
- Beispiele:
- Wie viele Datenpunkte werden erhoben?
- Welche Kovariablen werden in das Modell aufgenommen?
- Wie werden fehlende Werte behandelt?
- Welche statistische Methode wird verwendet?
- Simmons et al. (2011):
- Eine von 20 Analysen liefert rein zufällig ein falsch-positives Ergebnis (α=0.05\alpha = 0.05).
- Freiheitsgrade führen zu einer inflationären Fehlerquote.
🔎 4. P-Hacking – Manipulation von p-Werten
- Definition: Anpassung der Analyse, um statistisch signifikante Ergebnisse zu erhalten.
- Methoden des P-Hacking:
- Datenpunkte nachträglich ausschließen.
- Subgruppenanalysen solange testen, bis ein Effekt gefunden wird.
- Unterschiedliche statistische Verfahren ausprobieren.
- Problem: Erhöht die Fehler I. Art (False Positives).
Effekt von P-Hacking auf die p-Wert-Verteilung (Head et al., 2015):
- Ohne P-Hacking: Gleichmäßige p-Wert-Verteilung.
- Mit P-Hacking: Überrepräsentation von p-Werten knapp unter 0.050.05.
Strategien gegen P-Hacking:
- Pre-Registration: Vorab-Definition der Hypothesen und Analysen.
- Transparenz in der Datenaufbereitung.
- P-Wert-Korrekturen bei multiplen Tests (Bonferroni, Holm-Bonferroni).
- Berichterstattung aller durchgeführten Analysen.
📉 5. HARKing – Hypothesizing After the Results are Known
- Definition: Formulierung einer Hypothese nachdem die Ergebnisse bekannt sind.
- Kerr (1998): Forscher präsentieren explorative Ergebnisse als konfirmatorische Forschung.
- Problem: Verfälscht den wissenschaftlichen Erkenntnisprozess.
- Lösung: Explorative vs. konfirmatorische Analysen klar trennen.
📈 6. Publikationsbias & Replikationskrise
- Publikationsbias:
- Positive Ergebnisse werden bevorzugt veröffentlicht.
- Negative oder nicht-signifikante Ergebnisse bleiben oft unveröffentlicht.
- Beispiel: Turner et al. (2012):
- Antipsychotika-Studien: FDA-Datenbank vs. veröffentlichte Literatur.
- Positiv verzerrte Ergebnisse in der Literatur.
- Lösung:
- Pre-Registration.
- Veröffentlichung aller Ergebnisse (auch nicht-signifikante).
- Replikationskrise:
- Viele Studienergebnisse sind nicht reproduzierbar.
- Nosek & Errington (2020): Replikation ≠ exakte Wiederholung.
🛠 7. Statistik & Reproduzierbarkeit
- Probleme in der Statistik:
- Multiples Testen ohne Korrektur.
- Fehlende Standardisierung der Analysen.
- Nicht-robuste Methoden.
- Gelman & Loken (2013) – The Garden of Forking Paths:
- Viele mögliche Analysestrategien existieren.
- Forscher wählen diejenige, die das gewünschte Ergebnis liefert.
📊 8. Open Science – Lösungen für GWP
1. Open Data & Open Methods
- Alle Daten und Analysen offenlegen.
- Veröffentlichung von Pre-Registrationen.
2. Pre-Registration
- Vorteil: Klare Trennung zwischen explorativen und konfirmatorischen Analysen.
- Plattformen: Open Science Framework (OSF).
3. Replikationsstudien fördern
- Mehr Mittel für Replikationsstudien bereitstellen.
- Veröffentlichung von negativen Ergebnissen.
4. Verbesserung der Statistik
- Bayes-Statistik als Alternative zu frequentistischen Tests.
- Robuste Statistikmethoden (z. B. Bootstrapping).
- Anpassung des Signifikanzniveaus (z. B. p<0.005p < 0.005 statt p<0.05p < 0.05).
📌 9. Fazit
✅ Multiplicity & Freiheitsgrade beeinflussen Forschungsergebnisse erheblich.
✅ P-Hacking und HARKing verfälschen wissenschaftliche Erkenntnisse.
✅ Publikationsbias führt zu einer Verzerrung der wissenschaftlichen Literatur.
✅ Replikationskrise zeigt, dass viele Studien nicht reproduzierbar sind.
✅ Open Science & Pre-Registration helfen, wissenschaftliche Integrität zu verbessern.