KI-generierte Inhalte erkennen: Verdachts- und Plausibilitätsprüfung

Dieser Abschnitt unterstützt Lehrende, Mitarbeitende und Betreuer*innen bei der sachlichen Prüfung von Verdachtsfällen, wenn bei studentischen Arbeiten Anhaltspunkte für nicht offengelegte, unzulässige oder irreführend dargestellte KI-Nutzung bestehen.

Im Mittelpunkt steht nicht der technische „Nachweis von KI“, da dieser nach aktuellem Stand nicht zuverlässig möglich ist, sondern eine dokumentierte Gesamtwürdigung von Eigenleistung, Transparenz, Quellen, Daten, Abbildungen, Argumentation und Nachvollziehbarkeit des Arbeitsprozesses.

Die Anleitung beschreibt einen praxisnahen Prüfworkflow von der Klärung der erlaubten KI-Nutzung über die inhaltliche Prüfung und das Anfordern von Prozessnachweisen bis hin zum Gespräch mit Studierenden und zur dokumentierten Entscheidung.

Sie enthält außerdem Warnsignale für KI-generierte Texte, Daten, Tabellen, Abbildungen und Quellen sowie Hinweise zum verantwortungsvollen Umgang mit KI-Detektoren, Perplexität, Burstiness und möglichen falschpositiven Ergebnissen.

Entscheidungshilfe für Mitarbeitende, Lehrende und Betreuer*innen

 

Ausgangsfall

Bei einer schriftlichen Arbeit, Abschlussarbeit, Forschungsarbeit, Seminararbeit, Hausarbeit, Fallausarbeitung, einem Laborprotokoll oder einer sonstigen prüfungsrelevanten Leistung bestehen Anhaltspunkte dafür, dass KI-generierte Texte, KI-generierte Daten, KI-generierte Abbildungen oder sonstige KI-generierte Inhalte nicht offengelegt, unzulässig verwendet oder als eigene Leistung ausgegeben wurden.

 

Grundsatz

Die Prüfung dient nicht dem „Nachweis von KI“ im technischen Sinn (diese ist nach aktuellem Stand nicht 100% möglich), sondern der begründeten Verdachtsprüfung und Plausibilitätsprüfung.

Maßgeblich ist eine dokumentierte Gesamtwürdigung:

Ein bloßer Eindruck, ein ungewöhnlicher Schreibstil oder ein einzelnes Verdachtsmoment reichen nicht für eine belastbare Entscheidung.

Empfehlung

Besonders wirksam ist nicht die Textanalyse allein, sondern die Nachvollziehbarkeit der Eigenleistung. Es ist daher empfehlenswert folgende Elemente in die Aufgabenstellung einzubauen: ein Forschungstagebuch, dokumentierte Zwischenstände, Vor-Versionen, ein Quellenprotokoll, Abgabe der Rohdaten oder eine mündliche Vorstellung der Arbeit.

 

Empfohlener Prüfworkflow

Stufe 1: Ausgangslage klären
Was war in der Lehrveranstaltung erlaubt? Gab es Kennzeichnungspflicht? Wurde eine Eigenständigkeitserklärung verlangt? Wurden KI-Nutzungsregeln schriftlich kommuniziert?

Stufe 2: Arbeit inhaltlich prüfen
Quellen, Argumentation, Methode, Daten, Abbildungen und Schlussfolgerungen prüfen. Besondere Anzeichen sind erfundene Quellen, nicht reproduzierbare Daten, widersprüchliche Tabellen, perfekte Statistik, fehlende Rohdaten oder ein gut klingender, aber inhaltsleerer Text.

Stufe 3: Prozessnachweise von Studierenden anfordern
Zwischenversionen, Notizen, Literaturprotokoll, Datenfile, Analysecode, Prompt-/KI-Nutzungsdokumentation, Bildrohdateien oder Entwurfsstände.

Stufe 4: Gespräch mit Studierenden
Studierende sollen zentrale Argumente, Quellenwahl, Methode, Datenaufbereitung und Abbildungen erklären. Bei Verdacht kann eine kurze mündliche Verteidigung oder Nachberechnung einzelner Ergebnisse verlangt werden.

Stufe 5: Dokumentierte Gesamtwürdigung
Entscheidung nur auf Basis mehrerer Indizien: Regelverstoß, fehlende Kennzeichnung, fehlende Eigenleistung, nicht erklärbare Inhalte, nicht reproduzierbare Daten oder nachweislich erfundene Quellen/Abbildungen

Hilfestellung zur Textanalyse

Da KI und menschliche Texte überlappen, gibt es aktuell keine 100% technische Methode KI-generierte Texte zu identifizieren. Die meisten KI-Detektoren basieren auf dem Prinzip der Perplexität. Niedrige Perplexität (KI-Verdacht): Der Text wirkt glatt, jedes Wort folgt logisch und erwartbar auf das vorherige, ohne syntaktische "Stolpersteine". Hohe Perplexität (Mensch-Indiz): Der Text enthält Brüche, seltene Wortwahl oder statistisch unwahrscheinliche Satzkonstruktionen.

Neben der Perplexität wird oft die "Burstiness" herangezogen, die den Rhythmus und die Variation der Satzlänge betrachtet. Menschen wechseln oft unregelmäßig zwischen kurzen und langen, verschachtelten Sätzen, während KI-Modelle tendenziell eine monotone, gleichmäßige Satzstruktur produzieren.

Da auch Menschen erwartbaren Text schreiben, liegt die Rate der falschpositiven KI-Zuweisungen bei etwa ≤ 20%. Diese Rate kann über 60% betragen, wenn Menschen nicht in ihrer Muttersprache schreiben (McKie A., 2026, Nature 655: 535-537). Hybride Texte mit KI und menschlichen Anteilen oder KI-Text die „humanisiert“ wurden entgehen häufig der Detektion.

 Hier ist eine Liste mögliche Auffälligkeiten in KI-generierten Texten

Hier ist eine umfangreiche Liste mit Warnsignalen, die auf KI-Nutzung hindeuten

 Stil und Sprache

Prüfen:

Bewertung:

Argumentation und fachliche Tiefe

Prüfen:

Warnsignale:

Quellen und Zitate

Prüfen:

Warnsignale mit hoher Bedeutung:

Methodik und fachlicher Aufbau

Prüfen:

Warnsignale:

Prüfmethoden für Daten, Tabellen und statistischen Auswertungen

Rohdaten und Dokumentation prüfen

Anfordern oder prüfen:

Konsistenzprüfung

Prüfen:

Warnsignale:

Reproduzierbarkeit prüfen

Prüfen:

Mögliche Maßnahmen:

Spezifische Warnsignale bei KI-generierten oder erfundenen Daten

Warnsignale:

Prüfmethoden für Abbildungen, Diagrammen und Bildmaterial

Herkunft und Entstehung klären

Prüfen:

Diagramme und Datengrafiken prüfen

Prüfen:

Warnsignale:

Wissenschaftliche und medizinische Abbildungen prüfen

Prüfen:

Warnsignale:


 

Übersicht: Merkmale KI-generierter Inhalte

Bitte beachten Sie, keines der folgenden Merkmale ist für sich genommen ein verlässlicher Nachweis für KI-generierten Text. Sie können aber bei gehäuftem Auftreten einen Hinweis auf eine KI-gestützte Erstellung geben. Moderne Sprachmodelle unterscheiden sich zudem deutlich in ihrem Schreibstil von älteren Modellen, und durch menschliche Nachbearbeitung verschwinden viele dieser Merkmale.

1. Auffällige Gedankenstriche

Hinweiswert: mittel bis relativ hoch, wenn der individuelle Schreibstil der Person sonst keine Gedankenstriche dieser Art enthält.

 

2. Typografisch „perfekte“ Anführungszeichen

Häufig erscheinen automatisch korrekte typografische Zeichen:

Auffällig kann insbesondere ein Wechsel zwischen englischen und deutschen typografischen Anführungszeichen sein. (Deutsch: „Text“; bei einem Zitat im Zitat: ‚Text‘; Englisch: “Text” bei einem Zitat im Zitat: ‘Text’).

 

3. Überdurchschnittlich viele Doppelpunkte

KI-Texte verwenden häufig Konstruktionen wie:

Oft folgt auf den Doppelpunkt eine Aufzählung.

 

4. Häufige Semikolons

;

Sprachmodelle verwenden teilweise Semikolons regelmäßiger als viele alltägliche menschliche Schreibende:

„Die Methode ist effizient; ihre klinische Relevanz bleibt jedoch unklar.“

Das ist insbesondere auffällig, wenn Semikolons im übrigen Schreibstil einer Person praktisch nicht vorkommen.

 

5. Sehr regelmäßige Klammerkonstruktionen

Beispiele:

KI tendiert dazu, Nebeninformationen sauber in Klammern einzubauen.

 

6. Typische Markdown-Zeichen

Ein besonders deutlicher Hinweis auf direkt aus einem Chatbot übernommenen Text können stehen gebliebene Markdown-Zeichen sein:

Solche Artefakte sind wesentlich informativer als normale Satzzeichen.

 

7. Sehr systematische Bullet-Point-Strukturen

Typisch sind Aufzählungen wie:

oder

  1. Ausgangslage
  2. Problem
  3. Lösung
  4. Schlussfolgerung

Besonders auffällig ist die Kombination von fett gesetztem Stichwort + Doppelpunkt + Erklärung:

 

8. Dreierstrukturen

LLMs strukturieren Argumente auffallend häufig in Dreiergruppen:

„Die Methode ist schnell, zuverlässig und kostengünstig.“

oder:

„Drei Aspekte sind entscheidend: Transparenz, Nachvollziehbarkeit und Verantwortung.“

Einzelne Dreierstrukturen sind völlig normal; ihre permanente Wiederholung kann jedoch charakteristisch wirken.

 

9. Sehr regelmäßige Zwischenüberschriften

Beispielsweise:

Hintergrund
Zentrale Herausforderungen
Mögliche Lösungsansätze
Praktische Implikationen
Fazit

KI produziert häufig eine beinahe „lehrbuchartige“ Gliederung, selbst wenn der Text eigentlich keine solche Struktur benötigt.

 

10. Pfeile und andere Visualisierungssymbole

Gelegentlich werden Zusammenhänge mit Zeichen dargestellt wie:

Beispielsweise:

Datenerhebung → Analyse → Interpretation → Publikation

Besonders Emojis wie , ⚠️ oder 💡 sind für den typischen Chatbot-Stil charakteristisch, sofern sie nicht bewusst zum Kommunikationsformat gehören.

 

11. Ungewöhnliche Unicode-Zeichen

Beim direkten Kopieren aus KI-Systemen können Zeichen auftreten, die auf der Tastatur normalerweise nicht bewusst eingegeben werden:

Solche Zeichen können bei einer technischen Textanalyse interessant sein. Sie entstehen allerdings auch durch Word, Webseiten und automatische Textformatierung.

 

12. Sehr konsequente Parallelkonstruktionen

Beispielsweise:

„Die erste Studie untersucht … Die zweite Studie analysiert … Die dritte Studie bewertet …“

oder:

„Auf individueller Ebene … Auf institutioneller Ebene … Auf gesellschaftlicher Ebene …“

Sprachmodelle produzieren besonders gerne sprachlich symmetrische Konstruktionen.

 

13. Häufige Kontrastkonstruktionen

Typische Formulierungen sind:

Eine hohe Dichte solcher rhetorisch ausgewogenen Konstruktionen kann KI-typisch wirken.

 

14. Charakteristische Einleitungsphrasen

Häufig finden sich Formulierungen wie:

Sie sind einzeln völlig normal. KI-Texte enthalten sie jedoch teilweise in ungewöhnlich hoher Frequenz.

 

15. Charakteristische Schlussformulierungen

Besonders häufig:

Typisch ist auch ein letzter Satz, der die vorherigen Aussagen noch einmal allgemein und positiv zusammenfasst, ohne neue Information zu enthalten.

 

16. Inhaltlich wenig informative Metasätze

Beispiele:

Solche Sätze sind nicht falsch, tragen aber häufig wenig konkrete Information. Eine hohe Dichte solcher „glatten“, aber informationsarmen Aussagen ist wesentlich aussagekräftiger als einzelne Satzzeichen.

 

17. Übermäßig ausgewogene Argumentation

KI formuliert häufig nach dem Schema:

Vorteil → Einschränkung → ausgewogene Schlussfolgerung

Beispiel:

„KI bietet erhebliche Potenziale zur Effizienzsteigerung. Gleichzeitig bestehen Herausforderungen hinsichtlich Datenschutz und Transparenz. Entscheidend ist daher ein verantwortungsvoller und reflektierter Einsatz.“

Diese fast perfekte argumentative Balance ist ein typisches LLM-Muster.

 

18. Ungewöhnlich gleichmäßige Satz- und Absatzstruktur

Mögliche Auffälligkeiten sind:

Der Text wirkt dadurch häufig ungewöhnlich sauber, kontrolliert und gleichförmig.

 

19. „Pseudo-Präzision“

Sprachmodelle produzieren gerne Formulierungen wie:

Problematisch wird dies, wenn diese Begriffe häufig auftreten, ohne dass konkretisiert wird, was beispielsweise „robust“ oder „systematisch“ bedeutet.

 

20. Verdächtige Literatur- und Zitationsmuster

Bei wissenschaftlichen Texten sollte besonders auf Folgendes geachtet werden:

Dies ist bei wissenschaftlichen Arbeiten häufig aussagekräftiger als die sprachliche Oberfläche.

 

Praktische Einordnung

Für die Beurteilung eines Textes würde ich die Merkmale ungefähr so gewichten:

Schwache Hinweise:
Semikolon, Doppelpunkt, typografische Anführungszeichen, Gedankenstrich, Ellipse.

Mittlere Hinweise:
ungewöhnlich viele Em-Dashes, Dreierstrukturen, stereotype Übergangsformulierungen, extrem gleichmäßige Absätze, übermäßige Zwischenüberschriften, informationsarme Metasätze.

Stärkere Hinweise:
stehen gebliebenes Markdown, typische Chatbot-Formatierungen, plötzlich gegenüber früheren Arbeiten stark veränderter Schreibstil, ungewöhnliche Unicode-Artefakte in Kombination mit weiteren Merkmalen, erfundene oder nicht passende Referenzen sowie eine Kombination vieler der oben genannten sprachlichen Muster.

Entscheidend ist daher nicht ein einzelnes „KI-Satzzeichen“, sondern das Muster. Eine seriöse Beurteilung sollte möglichst den aktuellen Text mit früheren authentischen Textproben derselben Person vergleichen und zusätzlich Inhalt, Quellen, Argumentationsführung und Entstehungsprozess berücksichtigen.