Das CRASH Lab der Ashoka University hat RadLE 2.0 veröffentlicht, einen Benchmark für radiologische Diagnosen, der eine bislang unbeliebte Frage stellt. Nicht »wie oft liegt das Modell richtig«, sondern »weiß das Modell, wann es keine Ahnung hat«. 200 Einzelbild-Fälle, 16 KI-Modelle, 12 Radiologinnen und Assistenzärzte als Vergleichsgruppe. Jede Antwort kommt mit einem Selbstsicherheitswert von 0 bis 4, und wer will, darf »Ich weiß es nicht« sagen.
Genau das ist der Trick. Eine falsche Diagnose mit voller Überzeugung kostet Punkte, ein ehrliches Achselzucken kostet nichts. Auf der Skala von 0 bis 2000 landen die menschlichen Fachleute bei 988,7. Bestes Modell ist Claude Fable 5 mit 758, dahinter Meta Muse Spark 1.1 mit 735, GPT-5.6 Sol Pro mit 665 und Gemini 3.1 Pro mit 660. Der Durchschnitt aller 16 Modelle liegt bei 448. Schlusslicht ist Mistral Lg 3 mit 181. Die Lücke zwischen Mensch und bestem Modell beträgt 231 Punkte, und sie entsteht nicht dadurch, dass die Modelle zu wenig wissen, sondern dadurch, dass sie zu selten zugeben, wenn sie raten.
Relevant ist das, weil längst nicht nur Kliniken diese Modelle benutzen. Leute fotografieren ihren Befund und laden ihn in einen Chatbot, weil der Termin beim Facharzt erst in elf Wochen ist. Ein Modell, das mit fester Stimme das Falsche sagt, ist in dieser Situation gefährlicher als eines, das gar nichts sagt. Die Autoren erinnern daran, dass 2016 schon einmal verkündet wurde, man solle die Ausbildung von Radiologen einstellen. Zehn Jahre später sind die Radiologen noch da, überlastet wie eh und je, und die KI ist trotzdem überall im Arbeitsablauf. Was KI für unsere Zukunft bedeutet, entscheidet sich auch an solchen Details.
Einschränkungen gibt es reichlich. Es ist ein technischer Vorbericht, nicht das fertige Paper, das laut CRASH Lab erst nach weiteren Modelltests folgt. Die Fälle sind Einzelbild-Spot-Diagnosen, also ein Ausschnitt der radiologischen Arbeit und nicht der Alltag. Und die Menschen sind ebenfalls nicht perfekt, 988,7 von 2000 ist kein Ruhmesblatt. Der Fortschritt ist trotzdem gut dokumentiert. In RadLE 1.0 im September 2025 kamen Fachleute auf rund 83 Prozent, das beste Modell auf etwa 30 Prozent. Drei Monate später lag Gemini 3.0 Pro über den Assistenzärzten. Wer aus dieser Kurve ableitet, dass die Selbsteinschätzung sich von allein mitentwickelt, sollte sich Spalte 2 der Tabelle noch einmal ansehen.
Quellen
- CRASH Lab: Radiology’s Last Exam (RadLE) 2.0 — A Benchmark for Autonomous Diagnosis by AI agents in Radiology
- CRASH Lab: RadLE 2.0 Leaderboard
- Datta et al.: Radiology’s Last Exam (RadLE) — Benchmarking Frontier Multimodal AI Against Human Experts
Ähnliche News
- ChatGPT lässt dich endlich löschen, was es über dich weiß
- KI-Detektoren scheitern, sobald das Modell einen Menschen imitiert
- Offene Modelle sind bei Cyberangriffen nur noch vier Monate hinten
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.