Prüfmethoden für Daten, Tabellen und statistischen Auswertungen
Rohdaten und Dokumentation prüfen
Anfordern oder prüfen:
- Rohdatensatz
- Codebook oder Variablenerklärung
- Erhebungsinstrument
- Ein- und Ausschlusskriterien
- Datenerhebungszeitraum
- Dokumentation der Datenbereinigung
- Analysecode oder Auswertungsschritte
- Versionen von Tabellen und Auswertungen
- Ethikvotum, Datenschutzfreigabe oder sonstige Genehmigungen, soweit erforderlich
Konsistenzprüfung
Prüfen:
- Stimmen Fallzahlen in Text, Tabellen und Abbildungen überein?
- Passen Prozentwerte zu den angegebenen absoluten Zahlen?
- Sind Mittelwerte, Standardabweichungen, Konfidenzintervalle und p-Werte plausibel?
- Stimmen Tabellenüberschriften, Variablen und Legenden?
- Werden dieselben Gruppenbezeichnungen konsistent verwendet?
- Sind Rundungen nachvollziehbar?
- Gibt es Ergebnisse ohne vorher beschriebene Analyse?
- Werden Analysen beschrieben, die in den Ergebnissen nicht auftauchen?
Warnsignale:
- wechselnde Fallzahlen ohne Erklärung
- Prozentwerte, die sich nicht aus den Fallzahlen ergeben
- identische Werte an ungewöhnlich vielen Stellen
- zu perfekte Verteilungen
- fehlende Ausreißer bei realistisch streuenden Daten
- Korrelationen oder Effekte, die methodisch nicht plausibel sind
- Tabellen, die wie generische Musterbeispiele wirken
Reproduzierbarkeit prüfen
Prüfen:
- Kann die Auswertung anhand der Rohdaten nachvollzogen werden?
- Können zentrale Ergebnisse mit einfachen Nachrechnungen bestätigt werden?
- Gibt es eine nachvollziehbare Verbindung zwischen Rohdaten, Analyse und Ergebnisdarstellung?
- Sind Transformationen, Ausschlüsse und Bereinigungen dokumentiert?
- Können Studierende erklären, warum bestimmte statistische Verfahren gewählt wurden?
Mögliche Maßnahmen:
- einzelne Berechnungen gemeinsam durchgehen
- Studierende zentrale Ergebnisse nachrechnen lassen
- Auswertungsschritte erläutern lassen
- Analysecode oder Tabellenformeln prüfen
- Abgleich mit Betreuungsprotokollen, Laborbuch oder Forschungstagebuch
Spezifische Warnsignale bei KI-generierten oder erfundenen Daten
Warnsignale:
- Daten wirken vollständig, sauber und widerspruchsfrei, obwohl das Erhebungsdesign Ausfälle erwarten lässt
- keine fehlenden Werte, obwohl die Methode solche erwarten lässt
- unplausible Zeitstempel oder Erhebungsabstände
- doppelte oder fast identische Fälle
- auffällige Wiederholungen in Antwortmustern
- Variablen enthalten Werte außerhalb des zulässigen Bereichs
- beschriebene Stichprobe passt nicht zum Datensatz
- Ergebnisdarstellung ist elaborierter als die verfügbare Datenbasis
- Datenstruktur passt nicht zum beschriebenen Instrument