So funktionieren KI-Essay-Detektoren (und warum sie nicht perfekt sind)
Tim · Redaktion SUS IT
Tim ist Softwareingenieur und KI-Forscher mit Schwerpunkt auf Detektionsmethoden.
Die Statistik hinter KI-Text-Erkennung – Perplexität, Burstiness – und warum selbst gute Detektoren menschliche Texte falsch positiv bewerten.
KI-Schreibdetektoren sind Standard in Bildung und Redaktion: Einreichungen nach ChatGPT-/Gemini-Mustern, Manuskripte auf KI-Abschnitte, Plattformen gegen KI-Spam. Aber wie funktionieren sie – und warum flaggen sie manchmal Menschliches? Wer die Mechanik kennt, nutzt Scores angemessen statt probabilistische Werte als Endurteil zu lesen.
Kernproblem: Text ist Statistik
Sprache ist statistisch: Wortwahl, Satzbau, Rhythmus spiegeln gelernte Muster. LLMs trainieren auf menschlichem Text – und produzieren statistisch plausibles Menschliches, was die Detektion erschwert. Detektoren suchen subtile Unterschiede zwischen menschlich und KI-generiert über Themen und Stile hinweg.
Perplexität: Wie vorhersehbar ist jedes Wort?
Weit verbreitet ist Perplexität – wie „überrascht“ ein Sprachmodell über jedes nächste Wort ist. Menschliches Schreiben neigt zu höherer Perplexität: unerwartete Wörter, neue Ideen, Idiome, Fachjargon mit Risiko. KI maximiert Wahrscheinlichkeit – niedrigere Perplexität: passende, häufige, vorhersagbare Wörter. Längere Passagen mit durchgängig niedriger Perplexität deuten auf LLM-Output.
Burstiness: Wie stark schwankt die Komplexität?
Zweites Signal: Burstiness – Variation in Satzlänge, -struktur und -tiefe innerhalb eines Abschnitts. Menschen „bursten“: langer Satz, dann kurzer; dichter Fachtext, dann Analogie; formale Aussage, dann lockerer Einschub. LLMs neigen zu gleichmäßiger Tiefe – flüssig, aber ohne die Kanten natürlichen Denkens. Detektoren messen statistische Varianz.
Warum die Metriken nicht narrensicher sind
Perplexität und Burstiness sind Texteigenschaften, keine Authorship-Tags. Formales akademisches Schreiben – genau das, was Studierende liefern sollen – ist bewusst klar, vorhersagbar und gleichmäßig strukturiert. Das sind Merkmale guter formaler Prosa, nicht zwingend KI. Mehrsprachige Autoren ohne volle Idiomatik wirken statistisch „glatter“. Falschpositive sind kein Bug – sie folgen aus legitimer Überlappung der Statistik.
Das Trainingsdaten-Problem
Detektoren trainieren auf bekannt-menschlichen und bekannt-KI-Texten. Qualität und Vielfalt begrenzen Genauigkeit. Ein auf ChatGPT-3.5 trainierter Detektor generalisiert schlecht auf Claude 3.5 oder GPT-4o. Englisch-Detektoren versagen oft in anderen Sprachen. Modelle müssen nachziehen, wenn Generatoren sich verbessern – immer mit Verzögerung.
Zero-Shot vs. Fine-Tuning
Zero-Shot wendet ein vortrainiertes LM direkt zur Perplexitätsschätzung an – transparent, aber weniger genau. Fine-tuned Klassifikatoren sind auf ihrer Verteilung besser, können aber überanpassen. Starke Systeme kombinieren Ansätze und liefern kalibrierte Konfidenz statt binärer Urteile.
Was ein verantwortungsvoller Detektor tut
Er meldet Score plus Konfidenz, markiert die stärksten Passagen, nennt bekannte Fehlmodi und empfiehlt menschliche Prüfung bei Konsequenzen. SUS IT-Dokumentenanalyse liefert Begründungen, welche Muster den Score trieben – damit Nutzer die Logik prüfen können statt nur eine Zahl zu akzeptieren.
Umgang mit einem Ergebnis
Hoher KI-Score bei eigenem Text: gezielt überarbeiten – mehr Perspektive, Satzlängen variieren, fachliche Details und eigene Beispiele. Erneuter Lauf zeigt, welche Änderungen halfen. Lehrende/Redakteure: Score als Gesprächsanstoß, nicht Urteil – Prozess erfragen, Passagen lesen, weitere Evidenz sammeln.