Der Zusammenhang.
Eine Antwort muss nicht als fertiger Absatz gespeichert sein, damit sie flüssig klingt. Ein Sprachmodell erzeugt sie schrittweise aus dem bisherigen Kontext. Das Video erklärt diesen Grundablauf und trennt dabei die Anwendung ChatGPT vom Modell, das den Antworttext erzeugt.
Lernziele
- Tokens als Wörter, Wortteile oder Zeichen einordnen.
- Den wiederholten Ablauf aus Kontext, Auswahl und neuem Token beschreiben.
- Training, Textgenerierung und eine zusätzliche Faktenprüfung unterscheiden.
Der Kontext wächst mit der Antwort
Die Eingabe wird in Tokens zerlegt. Das Modell berechnet aus dem vorhandenen Kontext Möglichkeiten für das nächste Token. Ein ausgewähltes Token wird angehängt und gehört in der folgenden Runde selbst zum Kontext. Dieser wiederholte Ablauf erklärt, warum frühere Teile der Antwort die späteren beeinflussen können.
Tokens sind keine feste Wortzählung
Ein Token kann ein ganzes Wort, einen Wortteil oder ein einzelnes Zeichen repräsentieren. Die genaue Zerlegung hängt vom verwendeten Tokenizer, der Sprache und dem Text ab. Die schematischen Schnitte im Video sind deshalb eine Erklärung des Prinzips und keine verbindliche Zerlegung für jedes Modell.
Plausibel formuliert heißt nicht geprüft
Das Training verändert die Parameter des Modells; es legt keine bloße Liste fertiger Antworten an. Bei der Erzeugung eines passenden nächsten Tokens findet zugleich keine allgemeine Wahrheitskontrolle statt. Eine Anwendung kann zusätzliche Werkzeuge wie eine Suche einsetzen. Deren Ergebnisse und Quellen müssen aber ebenfalls eingeordnet werden, besonders bei aktuellen oder folgenreichen Aussagen.
Einordnung & Grenzen
Der Film vereinfacht die Textgenerierung. Beispielantworten und Token-Grenzen sind schematisch, keine aufgezeichneteten ChatGPT-Ausgaben. Modellarchitektur, Produktvergleich und Prompt-Tipps sind nicht Gegenstand dieser Erklärung.
Quellen & Weiterlesen
Dieser Begleittext wurde anhand der öffentlichen Videobeschreibung redaktionell ausgearbeitet; er ist kein Transkript. Die folgenden Quellen sind auch im Originalvideo angegeben.
