Ein Token ist eine Einheit des Tokenizers.
Ein Token kann ein Wort, ein Wortteil, ein Zeichen oder eine andere vom jeweiligen Verfahren gebildete Einheit darstellen. Moderne Text-Tokenizer arbeiten häufig mit Teilwörtern oder Byte-basierten Darstellungen. Sie ordnen den Einheiten Kennungen zu, mit denen das Modell weiterarbeitet.
Tokenizer unterscheiden sich in Verfahren und Vokabular. Derselbe Satz kann bei zwei Modellen in unterschiedlich viele Tokens zerfallen. Auch Leerzeichen, Satzzeichen und die verwendete Sprache spielen eine Rolle. Deshalb ist Tokenzahl weder Wortzahl noch Zeichenzahl. Eine feste Regel wie „ein Token sind immer vier Zeichen“ ist falsch.
Zur Anschauung könnten wir „Netzwerkprüfung“ als Netz | werk | prüfung zeichnen. Das ist eine erfundene Lernzerlegung, kein Ergebnis eines konkreten Tokenizers. Für eine echte Zählung brauchst du den zum Modell passenden Tokenizer und das tatsächlich übermittelte Nachrichtenformat.
Das Kontextfenster begrenzt die Arbeit an einer Anfrage.
Der Kontext ist die Information, mit der das Modell bei der aktuellen Verarbeitung arbeiten kann. Dazu können Systemanweisungen, Nutzernachrichten, relevante Teile des Gesprächsverlaufs, Dokumentauszüge und Tool-Ergebnisse gehören. Die Anwendung stellt diesen Kontext zusammen; das Modell sieht nicht automatisch jede Datei oder jeden früheren Chat.
Auch die Ausgabe braucht ein Budget. Die genauen Regeln für Ein-/Ausgabe, intern verwendete Tokens und einzelne Anbietergrenzen sind modell- und schnittstellenabhängig. Wir nennen hier bewusst keine pauschale aktuelle Modellgrenze. Die folgende Grafik zeigt nur das Prinzip eines begrenzten Budgets.
Ein Fenster, mehrere Inhalte.
Fiktives Budget: 100 illustrative Einheiten. Das sind keine gemessenen Tokens und kein Limit eines bestimmten Modells. Die Anteile sind frei gewählt.
- Systemanweisung: 8 Einheiten, fest
- Nutzeranfrage: 12 Einheiten, fest
- Dokumentauszug: anfangs 35 Einheiten
- Tool-Ergebnis: anfangs 15 Einheiten
- Antwortreserve: anfangs 30 Einheiten
Ohne JavaScript zeigt die Grafik den Ausgangsfall: 8 + 12 + 35 + 15 + 30 = 100. Für die Regler brauchst du JavaScript. Anwendungsspeicher liegt außerhalb dieses Fensters und muss bei Bedarf neu eingebracht werden.
Bei Überbelegung wird rechts abgeschnitten; die Rückmeldung nennt den vollständigen Bedarf. In realen Anwendungen unterscheiden sich Zählweise und Umgang mit dem Limit. Mehr Antwortreserve vergrößert das Fenster nicht.
Wenn der Dokumentauszug größer wird, bleibt weniger Platz für andere Inhalte oder für die geplante Antwort. Eine Anwendung muss dann auswählen, kürzen, mehrere Anfragen nutzen oder die Anfrage zurückweisen. Unbemerkt verlorene Bedingungen sind besonders problematisch: Die Antwort kann gut klingen, obwohl eine wichtige Voraussetzung nicht mehr im verwendeten Kontext stand.
Kontext ist nicht dasselbe wie dauerhaftes Gedächtnis.
Ein Chatdienst kann Notizen, Dateien oder persönliche Einstellungen außerhalb des Kontextfensters speichern. Werden sie später wieder benötigt, muss die Anwendung passende Teile daraus erneut bereitstellen. Solcher Anwendungsspeicher erweitert nicht automatisch die Kapazität einer einzelnen Modellanfrage.
Eine Zusammenfassung kann einen langen Verlauf verkürzen. Sie ist aber eine Auswahl: Details, Ausnahmen und genaue Formulierungen können verloren gehen. Das Modell erhält dann die Zusammenfassung statt sämtlicher ursprünglicher Informationen. Besonders wichtige Vorgaben solltest du deshalb ausdrücklich erhalten und bei entscheidenden Aussagen auf die Originalquelle zurückgreifen.
Auch „viel Kontext“ bedeutet nicht „jedes Detail wird zuverlässig genutzt“. Relevanz, Platzierung und die Fähigkeiten des Modells beeinflussen, wie gut eine Aufgabe gelingt. Lange Dokumente brauchen weiterhin eine überprüfbare Auswahl und Ergebnisse mit Belegen.
Ein guter Prompt macht die Aufgabe prüfbar.
Prompting heißt hier, die Anfrage und die mitgegebenen Informationen so zu formulieren, dass die gewünschte Bearbeitung klar wird. Hilfreich sind ein konkretes Ziel, die tatsächlich verfügbaren Daten, wichtige Grenzen und ein brauchbares Ausgabeformat.
Beispiel: „Vergleiche die zwei folgenden Konfigurationsauszüge. Nenne nur Unterschiede bei IP-Adresse, Präfix und Gateway. Gib pro Unterschied beide Werte an. Wenn ein Feld fehlt, schreibe ‚nicht angegeben‘. Leite keine fehlenden Werte ab.“
Damit ist besser kontrollierbar, ob die Antwort die Aufgabe erfüllt, als bei „Schau mal drüber“. Ein Beispiel für das gewünschte Format kann helfen. Anschließend prüfst du die Ausgabe trotzdem gegen die Originalwerte. Ein genauer Prompt kann Fehler reduzieren, garantiert aber keine korrekten Fakten und ersetzt keine Berechtigungskontrolle.
Prompt, RAG und Fine-Tuning ändern unterschiedliche Dinge.
| Ansatz | Was passiert? | Was folgt daraus nicht? |
|---|---|---|
| Prompting | Aufgabe und Kontext für eine Anfrage gestalten. | Keine garantierte Richtigkeit. |
| RAG | Passende Informationen suchen und als Kontext bereitstellen. | Kein unbegrenztes Kontextfenster. |
| Fine-Tuning | Modellparameter durch weiteres Training anpassen. | Keine jederzeit aktuelle Wissensdatenbank. |
Retrieval Augmented Generation (RAG) kann etwa passende Abschnitte eines Handbuchs in die Anfrage holen. Es müssen nicht alle Seiten gleichzeitig in das Fenster passen. Die Suche kann aber etwas Wichtiges übersehen oder einen falschen beziehungsweise manipulierten Abschnitt liefern.
Fine-Tuning kann Verhalten oder Aufgabenanpassung beeinflussen, verändert aber die Gewichte durch Training. Es ist weder ein Ersatz für einen aktuellen Dokumentabruf noch ein verlässlicher Schutz vor Prompt Injection. Die Verfahren können kombiniert werden; ihre Grenzen verschwinden dadurch nicht.
Drei Grenzen, die im Alltag leicht übersehen werden.
- „Das habe ich vor Stunden geschrieben.“ Entscheidend ist, ob es in dieser Anfrage noch bereitgestellt wird.
- „Der Bot hat das ganze PDF bekommen.“ Die Anwendung kann nur Ausschnitte oder eine Zusammenfassung an das Modell übergeben haben.
- „Mit mehr Kontext ist die Antwort automatisch richtig.“ Mehr mögliche Information ist kein Beweis für ihre richtige Nutzung.
Der Unterschied zwischen Modell und Anwendung hilft dabei, diese Fälle zu sortieren. Für Agenten wird die Herkunft der Informationen zusätzlich zur Sicherheitsfrage: Welche Inhalte dürfen überhaupt Anweisungen geben?
Passend dazu ansehen.
Veröffentlichte BitSicht-Videos mit Zusammenfassung, Kapiteln und einem Player, den du selbst aktivierst.
Quellen und Stand.
Fachlich geprüft am . Rechenwege, Beispiele und Diagramme sind eigene Darstellungen. Vereinfachte Beispiele sind gekennzeichnet. Laufende Dokumentation wurde für allgemeine Konzepte verwendet; produktspezifische Belege sind mit Stand oder Version benannt.