Vom Prompt zur Antwort

Der Prozess, wie ChatGPT aus einer kurzen Frage eine komplexe Antwort generiert, ist faszinierend. Er läuft in Millisekunden ab und umfasst mehrere Stufen. Basis hierfür ist die Funktionsweise von Large Language Models (LLMs).

1. Tokenisierung

Zuerst wird Ihre Eingabe in kleine Einheiten zerlegt, sogenannte "Tokens". Ein Token kann ein Wort oder ein Teil eines Wortes sein. Die KI rechnet nicht mit Wörtern, sondern mit Zahlen, die diese Tokens repräsentieren.

2. Kontext-Verarbeitung

Das Modell betrachtet alle Tokens gleichzeitig (dank der "Transformer"-Architektur) und analysiert ihre Beziehungen zueinander. Es versteht, dass sich "Bank" im Kontext von "Fluss" auf etwas anderes bezieht als im Kontext von "Geld".

3. Generierung

Das Modell beginnt nun, die Antwort Token für Token zu erzeugen. Bei jedem Schritt blickt es auf den gesamten bisherigen Text (Frage + bereits generierte Antwort) zurück, um das nächste Wort zu wählen. Dies erklärt, warum ChatGPT manchmal mitten im Satz den Faden verlieren kann, wenn der Kontext zu lang wird (wobei moderne Modelle hier sehr robust sind). Dies unterscheidet sich maßgeblich von Geminis Antwortlogik.