Einfach erklärt: Wie Large Language Models funktionieren, wie sie lernen und warum sie Fehler machen.
Grundlagen
Einfach erklärt: Wie Large Language Models funktionieren, wie sie lernen und warum sie Fehler machen.
Mehr als nur Autokorrektur auf Steroiden
Large Language Models (LLMs) wirken oft wie magische Orakel, sind aber im Kern hochentwickelte Vorhersagemaschinen. Um ihre Stärken und Schwächen zu verstehen, lohnt ein Blick unter die Haube. Eine detaillierte Definition finden Sie auch in unserem Glossar zu LLMs.
Das Prinzip der Wahrscheinlichkeit
Ein LLM versteht Sprache nicht im menschlichen Sinne. Es berechnet Wahrscheinlichkeiten. Wenn es den Satzanfang "Der Himmel ist..." sieht, berechnet es, welches Wort mit der höchsten Wahrscheinlichkeit folgt (z.B. "blau"). Diese Vorhersage basiert auf Mustern, die es während des Trainings in Milliarden von Texten gelernt hat. Mehr dazu im Artikel "Wie ChatGPT Antworten erzeugt".
Training und Fine-Tuning
Der Weg zum fertigen Modell:
Pre-Training: Das Modell liest riesige Mengen Text und lernt Grammatik, Fakten und Weltwissen (unüberwachtes Lernen).
Fine-Tuning: Menschen bewerten die Antworten des Modells und bringen ihm bei, hilfreich, harmlos und ehrlich zu sein (RLHF - Reinforcement Learning from Human Feedback).
Warum LLMs "halluzinieren"
Da LLMs auf Wahrscheinlichkeiten basieren, können sie auch plausibel klingenden Unsinn produzieren. Wenn das Modell keine Fakten kennt, "rät" es das nächstwahrscheinliche Wort, was zu überzeugend formulierten Falschaussagen führen kann. Umso wichtiger sind verlässliche Quellenangaben.
Einfach erklärt: Wie Large Language Models funktionieren, wie sie lernen und warum sie Fehler machen.
Grundlagen
Einfach erklärt: Wie Large Language Models funktionieren, wie sie lernen und warum sie Fehler machen.
Mehr als nur Autokorrektur auf Steroiden
Large Language Models (LLMs) wirken oft wie magische Orakel, sind aber im Kern hochentwickelte Vorhersagemaschinen. Um ihre Stärken und Schwächen zu verstehen, lohnt ein Blick unter die Haube. Eine detaillierte Definition finden Sie auch in unserem Glossar zu LLMs.
Das Prinzip der Wahrscheinlichkeit
Ein LLM versteht Sprache nicht im menschlichen Sinne. Es berechnet Wahrscheinlichkeiten. Wenn es den Satzanfang "Der Himmel ist..." sieht, berechnet es, welches Wort mit der höchsten Wahrscheinlichkeit folgt (z.B. "blau"). Diese Vorhersage basiert auf Mustern, die es während des Trainings in Milliarden von Texten gelernt hat. Mehr dazu im Artikel "Wie ChatGPT Antworten erzeugt".
Training und Fine-Tuning
Der Weg zum fertigen Modell:
Pre-Training: Das Modell liest riesige Mengen Text und lernt Grammatik, Fakten und Weltwissen (unüberwachtes Lernen).
Fine-Tuning: Menschen bewerten die Antworten des Modells und bringen ihm bei, hilfreich, harmlos und ehrlich zu sein (RLHF - Reinforcement Learning from Human Feedback).
Warum LLMs "halluzinieren"
Da LLMs auf Wahrscheinlichkeiten basieren, können sie auch plausibel klingenden Unsinn produzieren. Wenn das Modell keine Fakten kennt, "rät" es das nächstwahrscheinliche Wort, was zu überzeugend formulierten Falschaussagen führen kann. Umso wichtiger sind verlässliche Quellenangaben.