Ein Forschungsteam von Epoch AI hat drei der meistgenutzten KI-Textdetektoren gegen die Wand gefahren. Getestet wurden Pangram in Version 3.3.2, GPTZero mit dem Modell 2026-05-11-base und Originality.ai Turbo 3.0.2. Die Basis war ein Korpus aus 495 menschlichen Textpassagen von 99 Autoren, gleichmäßig verteilt auf Blogtexte, Belletristik und Wissenschaft. Alle Texte stammen von vor dem ChatGPT-Start im November 2022, Kontamination durch Sprachmodelle ist damit praktisch ausgeschlossen.
Bei schlicht heruntergepromptetem KI-Text arbeiten alle drei nahezu fehlerfrei, die Falsch-Negativ-Rate liegt bei maximal 0,7%. Dann bekamen Claude Opus 4.8, GPT-5.5 und Gemini 3.1 Pro jeweils fünf echte Textproben eines Autors und den Auftrag, in dessen Stil weiterzuschreiben. Von 297 so erzeugten Passagen rutschten im Schnitt 38 durch, das sind rund 13%. Pangram übersah 10%, GPTZero 11%, Originality.ai 18%. Bei Wissenschaftstexten wird es hässlich: 25%, 24% und 29%. Der Spitzenwert steht bei Pangram, das 48% der von Gemini erzeugten akademischen Passagen für menschlich hielt. Also jede zweite.
Genau in dem Genre versagen die Werkzeuge, in dem sie am häufigsten eingesetzt werden. Wer eine Hausarbeit durch einen Detektor jagt, misst nicht, ob KI im Spiel war, sondern ob sich jemand die Mühe gemacht hat, fünf Absätze Eigentext in den Prompt zu kippen. Das ist kein Hackerwissen, das ist Copy-Paste. Wir haben schon ausführlich beschrieben, was KI-Detektoren können und was nicht, und die neue Studie macht das Bild nicht freundlicher. Passend dazu die Schatten-Pädagogik an Schulen, in der Humanizer längst Alltag sind.
Die andere Fehlerrichtung ist nicht besser. Pangram und GPTZero schlugen bei den menschlichen Texten kein einziges Mal falschen Alarm, Originality.ai markierte dagegen 19 von 495 echten Passagen als KI-generiert, eine Falsch-Positiv-Rate von 3,8%. Auf ein Semester hochgerechnet sind das eine Menge Menschen, die für etwas beschuldigt werden, das sie selbst geschrieben haben. Ein früherer Test der Authors Guild hatte gezeigt, dass Detektoren menschliche Texte zuverlässig als menschlich einstufen. Die Epoch-Zahlen liefern die fehlende Hälfte des Bildes, und die lautet: eine niedrige Fehlalarmquote sagt fast nichts darüber aus, wie viel KI-Text unbemerkt durchläuft.
Quellen
- Epoch AI: AI text detectors miss style-imitating text
- GitHub: ai-text-detectors, veröffentlichte Rohdaten
- The Decoder: AI text detectors struggle when language models mimic an author’s style
Ähnliche News
- Wie Anthropic seinen Modellen das Erpressen abgewöhnt hat
- Offene Modelle sind bei Cyberangriffen nur noch vier Monate hinten
- Offene KI-Modelle hacken fast so gut wie die teuren
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.