Ein Team um Peter Kirgis und Sayash Kapoor hat am 29. Juli auf arXiv eine Studie veröffentlicht, die Frontier-Agenten an echter Forschung getestet hat statt an Benchmarks. Der Aufbau heißt Shadow Evaluation: Ein Agent bekommt die zentrale, offene Forschungsfrage eines guten, noch unveröffentlichten Papers und soll sie selbst beantworten. Benotet wird von den Originalautoren, die die Antwort bereits kennen. Getestet wurden zwei eingereichte NeurIPS-2026-Arbeiten, mit sechs Tagen Zeit und Rechenzeit im Wert von mehreren tausend Dollar. Beide Ergebnisse wurden von den Autoren eindeutig abgelehnt.
Die Ingenieursarbeit erledigten die Agenten komplett allein, ohne menschliches Zutun. Nur half das nichts. Die Autoren identifizieren fünf wiederkehrende Fehlermuster: kein Gefühl dafür, was überhaupt publikationsreif ist, einfallslose Reaktionen auf Schwächen im eigenen Versuchsaufbau, unwirksames Zurückrudern aus Sackgassen, schlechtes Gespür für die eigenen Ressourcen und Instruction Drift, also das langsame Abdriften von der gestellten Aufgabe. Ein Kontrolllauf mit einem zweiten Modell und einem anderen Gerüst produzierte dieselben Fehler. Der Agent lieferte also sauberen Code zu einer Frage, die er nie verstanden hatte. Das kennt man aus Bewerbungsgesprächen.
Warum das über Fachpublikum hinaus zählt: Jede Prognose über explosiven KI-Fortschritt hängt an der Annahme, dass KI irgendwann KI-Forschung automatisiert und die Kurve dann steil nach oben geht. Genau diese rekursive Selbstverbesserung ist das Argument, mit dem gerade Labormitarbeiter selbst zur Entschleunigung aufrufen. Bisher wurde die Annahme an Aufgaben mit bekannter Lösung geprüft, was ungefähr so aussagekräftig ist wie ein Fahrtest auf leerem Parkplatz. Diese Studie prüft sie an Forschung, deren Antwort noch nirgends steht, und findet die Lücke genau dort, wo Benchmarks nicht hinschauen. Beim Urteil darüber, was eine Frage überhaupt wert ist.
Zwei Fallstudien bleiben zwei Fallstudien, das schreiben die Autoren selbst. Sie veröffentlichen dafür Gutachten, Umfragedaten, Agenten-Repositories und Logs, was in einer Branche, die Agenten-Erfolge gern per Pressemitteilung meldet, schon für sich eine Nachricht ist. Der nüchterne Befund lautet: Die Agenten können die Arbeit. Sie können nur nicht entscheiden, welche Arbeit sich lohnt.
Quellen
- arXiv: Can AI agents conduct open-ended AI research? Early evidence from two case studies
- AI Weekly: Frontier agents handle engineering, fail NeurIPS shadow review
Ähnliche News
- Metas KI moderiert besser als Menschen und löscht trotzdem Konten
- Autonomer KI-Agent hackt Hugging Face übers Wochenende
- Fünf Konzerne verbünden sich gegen Anthropics Agenten-Standard
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.