Temperature
Definition: Temperature ist ein Hyperparameter generativer KI-Modelle, der die Zufälligkeit der Token-Auswahl bei der Textgenerierung steuert. Niedrige Werte erzeugen deterministische, fokussierte Antworten, hohe Werte fördern Kreativität und Diversität. Der Parameter skaliert die Wahrscheinlichkeitsverteilung der nächsten Token und beeinflusst damit direkt Faktentreue, Stil und Risikobereitschaft des Modells.
Grundlagen: Was steuert der Parameter wirklich?
Jedes moderne Sprachmodell berechnet für den nächsten Token eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular. Die Temperature greift exakt an dieser Stelle ein: Sie dividiert die logarithmierten Wahrscheinlichkeiten (Logits) durch den Temperaturwert, bevor die Softmax-Funktion diese in finale Wahrscheinlichkeiten umwandelt.
Ein Wert von 1,0 lässt die Verteilung unverändert. Werte unter 1,0 (typisch 0,1 bis 0,7) heben die Unterschiede zwischen wahrscheinlichen und unwahrscheinlichen Token hervor – das Modell wird fokussierter, konsistenter und repetitiver. Werte über 1,0 (bis 2,0) glätten die Verteilung: Auch unwahrscheinliche Token erhalten eine realistische Chance, ausgewählt zu werden. Die Antworten werden vielfältiger, überraschender – aber auch fehleranfälliger.
Die Temperature ist kein Regler für „Intelligenz“, sondern für die Risikobereitschaft des Modells. Sie entscheidet, ob das System den sichersten Pfad wählt oder explorativ abweicht.
Praktische Anwendung: Die richtige Einstellung je nach Use Case
Die Wahl des optimalen Werts hängt vollständig vom Anwendungszweck ab. Für strukturierte Aufgaben mit klaren Faktenanforderungen – etwa API-Extraktionen, Datenklassifikationen oder juristische Textanalysen – empfehlen sich Werte zwischen 0,0 und 0,3. Hier zählt Reproduzierbarkeit: Gleiche Eingaben müssen verlässlich gleiche Ausgaben erzeugen.
Für kreative Formate wie Brainstorming, Marketing-Texte oder Storytelling eignen sich Werte zwischen 0,7 und 1,2. Die erhöhte Varianz erzeugt überraschende Formulierungen und unkonventionelle Perspektiven. Werte über 1,5 führen in der Praxis häufig zu grammatikalischen Brüchen, Themenabdrift oder sinnfreien Wortfolgen – der Nutzen ist begrenzt.
| Anwendungsfall | Empfohlener Bereich | Primäres Ziel |
|---|---|---|
| Faktische Extraktion & Klassifikation | 0,0 – 0,3 | Deterministische Genauigkeit |
| Kundensupport & FAQ-Bots | 0,2 – 0,5 | Konsistenz bei natürlicher Sprache |
| Code-Generierung | 0,1 – 0,4 | Syntax-Sicherheit & Logik |
| Kreatives Schreiben & Ideation | 0,7 – 1,2 | Diversität & Originalität |
| Übersetzung & Paraphrasierung | 0,3 – 0,6 | Balance aus Treue & Flüssigkeit |
Zusammenspiel mit anderen Sampling-Parametern
Die Temperature wirkt nicht isoliert. Moderne Inferenz-Systeme kombinieren sie typischerweise mit Top-p (Nucleus Sampling) und Top-k. Während die Temperature die gesamte Verteilungsform verändert, schneidet Top-p nur den kumulativen Wahrscheinlichkeitsbereich ab, aus dem Token gezogen werden dürfen. Eine niedrige Temperature mit hohem Top-p kann weiterhin vielfältige Ergebnisse liefern – die Parameter interagieren nichtlinear.
In Retrieval-Augmented-Generation-Pipelines (RAG) zeigt sich ein kritischer Trade-off: Hohe Temperature-Werte können die Faktentreue gegenüber den abgerufenen Quelltexten untergraben, da das Modell kreative Umformulierungen bevorzugt. Niedrige Werte hingegen fördern eine enge Anlehnung an die Quellpassagen – ein entscheidender Faktor für Enterprise-Anwendungen mit Compliance-Anforderungen.
Faustregel für RAG-Systeme: Je höher die regulatorischen Anforderungen an die Antwortqualität, desto näher sollte die Temperature an 0,0 liegen.
Kontext-Abgrenzung: Temperature in anderen Fachdomänen
Der Begriff trägt in unterschiedlichen Disziplinen völlig verschiedene Bedeutungen. In der Thermodynamik beschreibt die Temperatur die mittlere kinetische Energie von Teilchen – ein physikalisches Messsystem mit absoluten Skalen. In der Datenbanktechnologie bezeichnet „Temperatur“ die Zugriffshäufigkeit von Daten (Hot, Warm, Cold Storage) und steuert Tiering-Strategien in Cloud-Architekturen.
Im Machine Learning existiert zudem eine verwandte, aber eigenständige Verwendung: die Temperatur in Softmax-basierten Klassifikationssystemen (Knowledge Distillation). Hier wird die Verteilung der Lehrer-Modelle durch eine höhere Temperatur „erweicht“, um weichere Wahrscheinlichkeitslabels für das Schüler-Modell zu erzeugen. Diese Technik verbessert die Übertragung von implizitem Wissen – ein anderer Mechanismus als die reine Sampling-Steuerung bei generativen Modellen.
Für Sales- und RevOps-Teams, die KI-gestützte Vertriebsassistenten einsetzen, ist die Unterscheidung relevant: Die Temperature beeinflusst, wie stark ein System bei der Lead-Qualifizierung oder Angebotserstellung von standardisierten Antwortpfaden abweicht. Ein zu hoher Wert erzeugt individuelle, aber unberechenbare Vertriebskommunikation; ein zu niedriger Wert führt zu roboterhafter Uniformität, die Interessenten abschreckt.
« Back to Glossary Index