OpenAI hat am 29. Juli erklärt, warum GPT-5.6 Sol auf dem Logik-Benchmark ARC-AGI-3 so schlecht aussah. Nicht das Modell war das Problem, sondern der Testaufbau. Mit zwei Einstellungen der hauseigenen Responses API, Retained Reasoning und Compaction, steigt das Ergebnis auf dem öffentlichen Aufgabenset von 13,3 auf 38,3 Prozent. Im offiziellen Harness von ARC Prize kam Sol auf 7,8 Prozent, GPT-5.5 auf 0,4 Prozent. Claude Opus 5 hatte den Rekord wenige Tage zuvor bei 30,2 Prozent gesetzt.
Der Grund ist banal genug, um wehzutun. Das offizielle Harness wirft nach jeder Spielaktion die private Gedankenkette des Modells weg und schneidet ab 175.000 Zeichen die ältesten Nachrichten ab. Das Modell sieht also, was es getan hat, aber nicht mehr, warum. Es baut sich die Spielregeln bei jedem Zug neu zusammen und vergisst dabei die halbe Vorgeschichte. Wer schon mal mit einem zu kleinen Kontextfenster gearbeitet hat, kennt das Verhalten. Mit erhaltener Reasoning-Kette und Compaction braucht Sol für das bessere Ergebnis sechsmal weniger Output-Tokens. Menschliche Tester liegen laut OpenAIs Schätzung aus den offiziellen Spiel-Logs bei 48 Prozent.
Für alle, die Modellvergleiche lesen, ist das die eigentliche Nachricht. Ein Benchmark, dessen Ergebnis sich durch zwei Häkchen verdreifacht, misst nicht Intelligenz, sondern Konfiguration. Die schönen Balkendiagramme, mit denen jedes Labor seinen Vorsprung feiert, hängen an Harness-Details, die in keiner Pressemitteilung stehen. Und dass ausgerechnet der Benchmark, der laut Eigenwerbung echte Intelligenz messen soll, das Gedächtnis der Kandidaten nach jedem Zug löscht, ist eine Pointe, die sich niemand ausdenken musste.
ARC Prize hält dagegen, die offiziellen Werte nutzten bewusst einen standardisierten Aufbau ohne anbieterspezifische Optionen. Mitgründer François Chollet zog dann aber eine Linie: Harnesses, die eigens für den Benchmark gebaut sind, bleiben tabu, allgemeine API-Einstellungen, die jedem Entwickler offenstehen, sind erlaubt. Damit räumt er ein, dass ARCs eigene Messung OpenAI benachteiligt hat. Unterschiedliche Einstellungen je Anbieter seien ein »potenzielles Paritätsproblem«, aber vertretbar, solange Einstellungen und Kosten offen ausgewiesen werden. Genau daran hakt es bisher.
Quellen
- OpenAI: How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
- The Decoder: OpenAI claims GPT-5.6 Sol beats Opus 5 on ARC-AGI-3 with its latest API and two additional settings
- The Decoder: Anthropic’s Opus 5 blows past Fable 5 and GPT-5.6 Sol on the benchmark designed to measure real intelligence
Ähnliche News
- OpenAI schaltet GPT-5.2 ab, zwei Monate vor dem eigenen Stichtag
- OpenAI fusioniert die Teams von ChatGPT, Codex und API
- OpenAI verschenkt Sol Pro an 100.000 Forscher
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.