Leserinnen und Leser erkennen nicht, ob eine Kurzgeschichte von einem Menschen oder von ChatGPT stammt. Das zeigt eine Studie von Sydney Sears und Deena Skolnick Weisberg von der Villanova University, erschienen am 4. August im Fachjournal Judgment and Decision Making. Drei Experimente, zusammen über 2.500 Teilnehmer im Alter von 18 bis 81 Jahren. Als Material dienten drei publizierte Kurzgeschichten aus Literaturzeitschriften und Anthologien sowie drei ChatGPT-Fassungen, die Thema, Stil und Erzählperspektive der Originale nachbauten.
Die Maschine gewann. Auf einer Skala von minus drei bis plus drei erreichten die KI-Geschichten bei der wahrgenommenen Qualität 1,54, die menschlichen 0,97. Beim Eintauchen in die Geschichte stand es 1,42 zu 1,00. Beim Erraten der Herkunft lagen die Teilnehmer im zweiten Experiment bei 39,93%, also unter dem Zufall, im dritten bei 51,97%, also genau auf Höhe des Münzwurfs. Am besten schnitt ab, wer KI-Erfahrung mitbrachte: Ein Punkt mehr auf der Artificial Intelligence Literacy Scale erhöhte die Chance auf eine richtige Zuordnung um 33%. Wer sich mit Literatur auskannte, hatte davon nichts.
Das ist keine Nachricht über gute Maschinen, sondern eine über bequeme Leser. Weisberg nennt den Grund selbst: KI-Text ist klarer, direkter und leichter zu verarbeiten, die KI-Fassungen sprachen ihr Thema ausdrücklich aus, statt es aus Figurenhandeln entstehen zu lassen. Literatur, die etwas verlangt, verliert gegen Literatur, die alles erklärt. Schöne Pointe am Rande: Als Erkennungsmerkmale nennt Weisberg ausgerechnet Gedankenstriche und Formulierungen vom Typ »nicht nur X, sondern Y«. Wer verfolgt, wie KI unsere Sprache verändert, kennt diese Tics längst.
Ein Vorbehalt bleibt. Tausend Wörter sind nicht dreihundert Seiten, und eine geschlossene Miniatur ist genau die Disziplin, in der ein Sprachmodell gut aussieht. Wer daraus ableitet, dass Erkennungssoftware das Problem löst, hat die Zahlen falsch herum gelesen. Menschen liegen beim Raten auf Zufallsniveau. Der Ausweg der Forscher heißt nicht Detektor, sondern KI-Kompetenz.
Quellen
- Judgment and Decision Making: Bot or not: Can people tell the difference between stories written by a human or by an AI system?
- Cambridge University Press: People prefer stories written by AI – especially when told they’re written by a human
- The Decoder: Readers rate AI-generated short stories higher than human ones until they learn a machine wrote them
Ähnliche News
- OpenAI halbiert heimlich die Rechenkosten für Gratis-ChatGPT
- OpenAI erklärt den Chat für tot und baut ChatGPT zur Agenten-App um
- ChatGPT bekommt einen Panikraum, Lockdown Mode jetzt für alle
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.