Prüfmethoden für Daten, Tabellen und statistischen Auswertungen Rohdaten und Dokumentation prüfen Anfordern oder prüfen: Rohdatensatz Codebook oder Variablenerklärung Erhebungsinstrument Ein- und Ausschlusskriterien Datenerhebungszeitraum Dokumentation der Datenbereinigung Analysecode oder Auswertungsschritte Versionen von Tabellen und Auswertungen Ethikvotum, Datenschutzfreigabe oder sonstige Genehmigungen, soweit erforderlich Konsistenzprüfung Prüfen: Stimmen Fallzahlen in Text, Tabellen und Abbildungen überein? Passen Prozentwerte zu den angegebenen absoluten Zahlen? Sind Mittelwerte, Standardabweichungen, Konfidenzintervalle und p-Werte plausibel? Stimmen Tabellenüberschriften, Variablen und Legenden? Werden dieselben Gruppenbezeichnungen konsistent verwendet? Sind Rundungen nachvollziehbar? Gibt es Ergebnisse ohne vorher beschriebene Analyse? Werden Analysen beschrieben, die in den Ergebnissen nicht auftauchen? Warnsignale: wechselnde Fallzahlen ohne Erklärung Prozentwerte, die sich nicht aus den Fallzahlen ergeben identische Werte an ungewöhnlich vielen Stellen zu perfekte Verteilungen fehlende Ausreißer bei realistisch streuenden Daten Korrelationen oder Effekte, die methodisch nicht plausibel sind Tabellen, die wie generische Musterbeispiele wirken Reproduzierbarkeit prüfen Prüfen: Kann die Auswertung anhand der Rohdaten nachvollzogen werden? Können zentrale Ergebnisse mit einfachen Nachrechnungen bestätigt werden? Gibt es eine nachvollziehbare Verbindung zwischen Rohdaten, Analyse und Ergebnisdarstellung? Sind Transformationen, Ausschlüsse und Bereinigungen dokumentiert? Können Studierende erklären, warum bestimmte statistische Verfahren gewählt wurden? Mögliche Maßnahmen: einzelne Berechnungen gemeinsam durchgehen Studierende zentrale Ergebnisse nachrechnen lassen Auswertungsschritte erläutern lassen Analysecode oder Tabellenformeln prüfen Abgleich mit Betreuungsprotokollen, Laborbuch oder Forschungstagebuch Spezifische Warnsignale bei KI-generierten oder erfundenen Daten Warnsignale: Daten wirken vollständig, sauber und widerspruchsfrei, obwohl das Erhebungsdesign Ausfälle erwarten lässt keine fehlenden Werte, obwohl die Methode solche erwarten lässt unplausible Zeitstempel oder Erhebungsabstände doppelte oder fast identische Fälle auffällige Wiederholungen in Antwortmustern Variablen enthalten Werte außerhalb des zulässigen Bereichs beschriebene Stichprobe passt nicht zum Datensatz Ergebnisdarstellung ist elaborierter als die verfügbare Datenbasis Datenstruktur passt nicht zum beschriebenen Instrument