Federico Ricci-Tersenghi von der Sapienza-Universität Rom hat mit japanischen Kollegen einem klassischen KI-Modell das Träumen bei Tageslicht beigebracht. Die Methode heißt Daydreaming, erschienen ist sie im Journal of Statistical Mechanics. Sie räumt das Gedächtnis sogenannter Hopfield-Netze auf, jener simplen neuronalen Netze, für die John Hopfield 2024 den Physik-Nobelpreis bekam. Das Ziel: falsche Erinnerungen loswerden, ohne die echten gleich mitzulöschen.
Der Ausgangspunkt ist ernüchternd. Ein einfaches Hopfield-Netz merkt sich nur rund 13% seiner Neuronen als echte Erinnerungen. Hundert Neuronen, dreizehn Erinnerungen, der Rest ist mit »Falscherinnerungen« zugestellt, Mischbildern aus echten Mustern, die das Netz in die Irre führen. Eine Halluzination, wie man heute sagen würde. Die 2025 vorgestellte Daydreaming-Methode lässt das Netz lernen und aufräumen zugleich, tagsüber, und hebt die Kapazität auf das theoretische Maximum von einer Erinnerung pro Neuron. Die neue Version, »Centered Daydreaming«, schafft das jetzt auch bei schiefen Daten, etwa überbelichteten Fotos mit fast nur weißen Pixeln. Der Trick: Sie schaut nicht auf die absoluten Pixelwerte, sondern nur auf die Abweichung vom Durchschnitt.
Für ChatGPT oder Claude ist das keine Bauanleitung, moderne Sprachmodelle laufen nicht auf Hopfield-Netzen. Interessant ist das Prinzip. Das Aufräumen passiert lokal, jedes Neuron entscheidet für sich, so wie es biologische Nervenzellen tun, die eben nicht mit dem ganzen Gehirn plaudern. Wer versteht, wie ein simples Netz das Wichtige vom Belanglosen trennt, kommt vielleicht zu KI, die weniger Strom frisst und sich leichter durchschauen lässt. Es ist im Grunde dasselbe Problem, das jeder Lernende kennt, nämlich Wissen dauerhaft zu behalten, statt es unter Ballast zu begraben. Die Lernpsychologie nennt das Konsolidierung, und beim Menschen passiert sie vor allem im Schlaf.
Und da liegt die eigentliche Pointe. Während die halbe Branche Milliardenbeträge in Rechenzentren schaufelt, um dem Halluzinieren mit roher Rechengewalt beizukommen, holt sich ein theoretischer Physiker die Idee beim Nickerchen. »Wir haben das Lernen am Tag mit der Aufräum- und Festigungsphase des Schlafs kombiniert, als würden wir auch tagsüber träumen«, sagt Ricci-Tersenghi. Das menschliche Gehirn erledigt genau das jede Nacht, seit Urzeiten, ohne eine einzige Grafikkarte.
Quellen
- arXiv: Daydreaming algorithm for Biased Patterns
- TechXplore: Daydreaming algorithm helps AI remember what matters
- arXiv: Daydreaming Hopfield Networks and their surprising effectiveness on correlated data
Ähnliche News
- ChatGPT schreibt jetzt Dossiers über dich und nennt es Träumen
- OpenAI beerdigt GPT-4.5 und damit die ganze GPT-4-Ära
- Jetzt soll OpenAIs KI die Löcher stopfen, die sie selbst findet
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.