PrismML, ein Start-up aus Caltech-Forschern, hat sein Modell Bonsai 27B veröffentlicht. 27 Milliarden Parameter, die in üblicher Präzision rund 54 GB belegen, passen jetzt in 3,9 GB. Damit läuft das Modell direkt auf einem iPhone 17 Pro Max, ohne Cloud, ohne Server, ohne dass irgendetwas das Gerät verlässt. Grundlage ist Alibabas Qwen3.6-27B, die Gewichte stehen unter Apache-2.0-Lizenz.
Der Trick steckt in der Präzision. Statt jedes Gewicht mit 16 Bit zu speichern, nutzt PrismML im aggressivsten Fall gut ein Bit, in der etwas größeren Variante rund drei Zustände pro Gewicht. Über 15 Benchmarks behält die kleine 3,9-GB-Version laut PrismML 90 Prozent der Originalleistung, die 5,9-GB-Variante für Laptops sogar 95 Prozent. Mathe und Coding bleiben fast unberührt, Bildverstehen und Werkzeugnutzung bröckeln stärker. Auf dem iPhone fallen etwa 11 Tokens pro Sekunde an, rund 67.000 pro voller Akkuladung. Nach gut fünf Minuten drosselt der Chip. Ein Dauerläufer ist das also nicht, und alle Zahlen stammen aus PrismMLs eigener Auswertung.
Für Nutzer ist der Punkt nicht die Bastelfreude, sondern die Rechnung dahinter. Ein KI-Agent löst heute keinen einzelnen Modellaufruf mehr aus, sondern hunderte hintereinander. In der Cloud kostet jeder Token Geld, jeder Schritt Zeit, und private Daten wie Bildschirminhalte wandern mit. Läuft das Modell auf dem Gerät, liegen die Grenzkosten bei null und die Daten bleiben lokal. Wer schon einmal versucht hat, eine eigene KI auf dem Rechner zum Laufen zu bringen, kennt den Reiz. Apple prüft die Kompressionstechnik laut CNBC bereits, CEO Babak Hassibi spricht von Gesprächen »in einem sehr frühen Stadium«. Ausgerechnet Apple, dessen eigene On-Device-KI seit Jahren hinter der Konkurrenz herläuft, könnte so etwas gut gebrauchen.
Quellen
- PrismML: Bonsai 27B
- CNBC: Apple prüft KI-Kompression von PrismML fürs iPhone
- The Decoder: Offenes 27-Milliarden-Parameter-Modell »Bonsai« läuft auf einem iPhone
Ähnliche News
- Ein deutsches KI-Modell schlägt die 70-Milliarden-Konkurrenz
- OpenAIs GPT-Red knackt Modelle besser als jedes menschliche Red-Team
- Zuckerberg meldet sich nach drei Jahren auf X zurück, für ein Coding-Modell zum Kampfpreis
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.