Context Compression
Definition: Context Compression bezeichnet die algorithmische Reduktion von Token-Mengen in KI-Systemen, ohne die semantische Integrität der Informationen zu verlieren. Sie optimiert die Kontextfenster-Nutzung, senkt Inferenzkosten und verbessert die Antwortqualität. Die Kompression erfolgt durch Extraktion, Zusammenfassung oder Embedding-basierte Verfahren.
Grundlagen und Funktionsweise der Context Compression
Große Sprachmodelle besitzen ein begrenztes Kontextfenster. Die Anzahl der Token, die simultan verarbeitet werden können, ist technisch fixiert. Sobald ein Gespräch oder ein Dokument diese Grenze überschreitet, drohen Informationsverluste. Context Compression löst dieses Problem, indem sie redundante oder weniger relevante Informationen gezielt entfernt oder verdichtet.
Die Verfahren lassen sich in drei Kategorien einteilen. Extraktive Methoden wählen die wichtigsten Sätze oder Passagen aus dem Originaltext aus. Abstraktive Methoden generieren eine neue, kürzere Zusammenfassung. Embedding-basierte Verfahren überführen Textabschnitte in Vektor-Repräsentationen und speichern nur die semantisch relevanten Vektoren. Letztere ermöglichen eine besonders hohe Kompressionsrate, erfordern jedoch zusätzliche Retrieval-Schritte.
Die zentrale Herausforderung besteht nicht in der Reduktion von Daten, sondern in der Bewahrung von Bedeutung.
Anwendungsfälle in RAG-Systemen und Conversational AI
Retrieval-Augmented Generation (RAG) profitiert in besonderem Maße von Context Compression. Bei jedem Abruf werden relevante Dokumente in das Kontextfenster eingespeist. Ohne Kompression füllen sich die Fenster schnell mit redundanten Textfragmenten. Die Folge sind erhöhte Latenzzeiten und steigende API-Kosten.
In Conversational AI-Systemen ermöglicht Context Compression längere Dialoge. Historische Nachrichten werden nach ihrer Relevanz gewichtet. Ältere, weniger kritische Turns werden zusammengefasst, während aktuelle Informationen unverändert bleiben. Dieses Vorgehen erhält den Gesprächsfluss und verhindert, dass das Modell den Faden verliert.
| Verfahren | Kompressionsrate | Semantischer Erhalt | Latenz |
|---|---|---|---|
| Extraktion | Mittel | Hoch | Niedrig |
| Abstraktion | Hoch | Mittel | Hoch |
| Embedding-basiert | Sehr hoch | Mittel bis hoch | Mittel |
Abgrenzung zu verwandten Konzepten
Context Compression wird häufig mit anderen Techniken verwechselt. Prompt Truncation schneidet schlicht den ältesten Teil des Kontexts ab. Diese Methode ist simpel, führt jedoch zu abrupten Informationsverlusten. Context Distillation hingegen trainiert ein kleineres Modell auf die Ausgaben eines größeren Modells. Hierbei entsteht ein neues, kompaktes Modell, während Context Compression das bestehende Modell unverändert lässt.
Im Bereich der Datenbanktechnologie existiert eine weitere Bedeutung. Dort bezeichnet Kompression die verlustfreie Reduktion von Speicherplatz. Die Ziele unterscheiden sich fundamental: Datenbanken optimieren die Speicherung, KI-Systeme optimieren die Verarbeitung. Auch im Finanzwesen taucht der Begriff auf, etwa bei der Verdichtung von Bilanzkennzahlen. Diese Verwendungen haben keinerlei Überschneidung mit der KI-spezifischen Definition.
Strategische Implementierung und Qualitätssicherung
Die Wahl des Kompressionsverfahrens hängt vom Anwendungsfall ab. Für Echtzeit-Chats eignen sich extraktive Methoden wegen ihrer geringen Latenz. Für die Verarbeitung umfangreicher Dokumente bieten abstraktive Verfahren eine bessere Verdichtung. Embedding-basierte Ansätze sind dann sinnvoll, wenn eine hohe Kompressionsrate bei akzeptabler Latenz erforderlich ist.
Die Qualitätssicherung erfordert kontinuierliche Evaluation. Ein Kompressionsverfahren muss anhand von Benchmarks gemessen werden, die den semantischen Erhalt überprüfen. Dazu gehören Aufgaben wie Frage-Antwort-Tests oder Zusammenfassungs-Vergleiche. Ohne diese Validierung riskiert man stille Informationsverluste, die sich erst in fehlerhaften Antworten manifestieren.
Ein pragmatischer Ansatz kombiniert mehrere Verfahren. Zunächst wird eine extraktive Vorauswahl getroffen, um offensichtlich irrelevante Passagen zu entfernen. Anschließend erfolgt eine abstraktive Verdichtung der verbleibenden Textabschnitte. Diese Hybrid-Strategie balanciert Geschwindigkeit und semantische Präzision aus.
« Back to Glossary IndexKompression ist kein einmaliger Prozess, sondern ein kontinuierlicher Balanceakt zwischen Informationsdichte und Verständlichkeit.