
Alle reden von Tokens, auf auf diesen Seite tue ich das ständig. Die KI rechnet in Tokens ab, das Kontextfenster wird in Tokens gemessen, Modelle werden auf Billionen davon trainiert. Nur weiß kaum jemand, was ein Token eigentlich ist. Die meisten halten es für ein anderes Wort für Wort. Aber das ist es nicht.
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell in seinem Vokabular kennt. Kein Wort, keine Silbe, irgendwas dazwischen. Und genau dieses Dazwischen erklärt eine ganze Reihe von Phänomenen, über die sich Leute täglich wundern. Warum die KI »Erdbeere« falsch buchstabiert. Warum Deutsch teurer ist als Englisch. Warum ein langes Gespräch irgendwann aus dem Ruder läuft. Hier steckt die Usache drin.




