OpenAI hat die Kosten für den Betrieb seiner Modelle mehr als halbiert. Das berichtet The Information unter Berufung auf eine mit den internen Gesprächen vertraute Person. Die Optimierung läuft bereits, allerdings an einer sehr speziellen Stelle. Sie greift bei ChatGPT für Besucher, die keinen Account haben, also bei der Gratisnutzung ganz ohne Login.
Die Zahl der Nvidia-GPUs, die für diese Gäste nötig sind, fiel zeitweise auf wenige hundert. Wie viele es vorher waren, sagt OpenAI nicht. Welche Technik dahintersteckt, auch nicht. Man freut sich über die Ersparnis und behält das Rezept für sich. Zur Einordnung, DeepSeek hat gerade eine quelloffene Methode veröffentlicht, die Anfragen um 60 bis 85 Prozent beschleunigt, samt Code zum Nachbauen. Der Unterschied in der Auskunftsfreude ist bemerkenswert.
Für Nutzer klingt das nach guter Nachricht. Günstigere Rechenkosten bedeuten mehr Kapazität, potenziell schnellere Antworten und stabilere Gratiszugänge. Der Haken, die Ersparnis gilt bisher nur für Gastnutzer, und die dürfen ohnehin nur einen Bruchteil der Funktionen anfassen. Ob sich der Effekt auf das volle ChatGPT übertragen lässt, ist offen.
Die frei gewordene Rechenkraft kann OpenAI in Skalierung stecken, in bessere Modelle, in schnellere Antworten oder schlicht in die eigene Marge. Bei einer Firma, die auf einen Börsengang jenseits der Billionenbewertung zusteuert, muss man nicht lange raten, welche Option zuerst geprüft wird. Und weil der Ausbau neuer Rechenzentren weiter schleppend läuft, verschafft so ein Effizienzsprung vor allem eins, Luft zum Atmen.
Quellen
- The Information: OpenAI Discovers New Way to Cut Inference Costs in Half
- The Decoder: OpenAI reportedly cut response costs for guest ChatGPT users by more than half
Ähnliche News
- OpenAI erklärt den Chat für tot und baut ChatGPT zur Agenten-App um
- OpenAI rüstet ChatGPT für Krisengespräche nach
- ChatGPT bekommt einen Panikraum, Lockdown Mode jetzt für alle
Diese Meldung wurde mit Unterstützung von Claude (Anthropic) recherchiert und verfasst. Inhaltliche Fehler sind möglich. Die verlinkten Quellen ermöglichen eine eigene Prüfung. Fachbegriffe erläutert das Glossar.