Encoder-Decoder Architecture
Definition: Die Encoder-Decoder-Architektur ist ein fundamentales neuronales Netzwerkdesign, das Eingabesequenzen in einen kontextuellen Vektorraum (Encoder) überführt und daraus eine Zielsequenz generiert (Decoder). Sie bildet das strukturelle Rückgrat moderner Transformer-Modelle und ermöglicht sequenzielle Transformationen wie maschinelle Übersetzung, Textzusammenfassung und Retrieval-Augmented Generation.
Grundprinzip: Zwei Gehirnhälften für eine Aufgabe
Stellen Sie sich ein professionelles Übersetzungsbüro vor. Der Encoder ist der Lektor, der das Originaldokument vollständig liest, alle Nuancen erfasst und eine verdichtete, semantische Zusammenfassung in einer universellen Zwischensprache anfertigt. Der Decoder ist der Autor, der diese Zwischensprache nimmt und daraus ein neues, kohärentes Dokument in der Zielsprache formuliert. Diese Arbeitsteilung ist das Wesen der Encoder-Decoder-Architektur.
Technisch betrachtet verarbeitet der Encoder eine Eingabesequenz (z. B. Token eines Satzes) und erzeugt eine Sequenz latenter Repräsentationen. Der Decoder konsumiert diese Repräsentationen autoregressiv: Er sagt Token für Token das nächste Element der Ausgabesequenz vorher, wobei jedes neu generierte Token auf allen zuvor generierten aufbaut. Diese sequenzielle Abhängigkeit unterscheidet die Architektur fundamental von reinen Feedforward-Netzwerken.
| Komponente | Funktion | Typische Ausgabe |
|---|---|---|
| Encoder | Kontextualisierung der Eingabe | Kontextvektoren (Hidden States) |
| Decoder | Autoregressive Sequenzgenerierung | Wahrscheinlichkeitsverteilung über Ziel-Token |
| Cross-Attention | Brücke zwischen Encoder und Decoder | Gewichtete Kontextvektoren für jeden Dekodierschritt |
Die Transformer-Revolution: Aufmerksamkeit statt Rekurrenz
Klassische Encoder-Decoder-Modelle nutzten rekurrente Netze (RNNs), die Sequenzen Schritt für Schritt abarbeiteten. Diese serielle Verarbeitung war langsam und litt unter dem Problem verschwindender Gradienten bei langen Sequenzen. Die Transformer-Architektur hat dieses Paradigma radikal verändert: Sie ersetzt die Rekurrenz durch die Selbstaufmerksamkeits-Mechanismen (Self-Attention), die es dem Modell erlauben, alle Positionen einer Sequenz parallel zu verarbeiten und direkte Abhängigkeiten zwischen beliebig weit entfernten Token zu modellieren.
Die Kerninnovation liegt in der Parallelisierbarkeit: Während ein RNN 100 Token seriell verarbeiten muss, kann ein Transformer alle 100 Positionen gleichzeitig berechnen und dennoch den vollständigen Kontext jedes Tokens berücksichtigen.
Diese Parallelisierung ermöglichte das Training deutlich größerer Modelle auf umfangreicheren Datensätzen. Die Skalierung von Parametern, Daten und Rechenleistung führte zu emergenten Fähigkeiten, die bei kleineren Modellen nicht beobachtbar waren. Die Encoder-Decoder-Architektur ist dabei nicht nur ein historisches Artefakt, sondern die operative Basis für Modelle wie T5 oder BART, die für Text-zu-Text-Aufgaben optimiert sind.
Kontextuelle Abgrenzung: Encoder-only, Decoder-only und die hybride Mitte
Die Encoder-Decoder-Architektur ist nicht die einzige Transformer-Variante. Die Wahl der Architektur hängt entscheidend von der Aufgabenklasse ab:
- Encoder-only-Modelle (z. B. BERT): Exzellent für Verständnisaufgaben wie Klassifikation, Named Entity Recognition oder semantische Ähnlichkeit. Sie erzeugen kontextuelle Einbettungen, aber keine neuen Sequenzen.
- Decoder-only-Modelle (z. B. GPT): Optimiert für freie Textgenerierung. Sie verarbeiten die Eingabe und Ausgabe in derselben Sequenz und sind die Basis der meisten modernen Chatbots und LLMs.
- Encoder-Decoder-Modelle (z. B. T5): Die ausgewogene Wahl für Aufgaben, die eine strukturelle Transformation erfordern: Übersetzung, Zusammenfassung, paraphrasierende Antwortgenerierung.
Im Kontext von Retrieval-Augmented Generation (RAG) spielt die Architektur eine besondere Rolle: Der Encoder verarbeitet die relevanten Dokumentfragmente aus dem Vektorindex, während der Decoder die finale, kontextualisierte Antwort generiert. Diese Trennung ermöglicht eine präzise Steuerung des Retrieval-Prozesses und der Generierungsqualität.
Praktische Implikationen für B2B-Systeme und Enterprise AI
Für Unternehmen, die LLMs in ihre Produkte integrieren, hat die Wahl der Architektur direkte betriebswirtschaftliche Konsequenzen. Encoder-Decoder-Modelle bieten bei Übersetzungs- und Zusammenfassungsaufgaben oft eine bessere Kontrolle über die Ausgabestruktur als Decoder-only-Modelle. Die Latenz ist jedoch höher, da zwei sequenzielle Verarbeitungsphasen durchlaufen werden müssen.
Die Entscheidung zwischen Architekturen ist keine rein technische Frage. Sie ist eine Frage der Unit Economics: Inferenzkosten, Latenz und Qualität müssen gegen den spezifischen Anwendungsfall abgewogen werden.
In der Praxis zeigt sich: Für Echtzeit-Chatbots dominieren Decoder-only-Modelle. Für dokumentenzentrierte Workflows, bei denen strukturierte Ausgaben und Quellenbezug kritisch sind, bieten Encoder-Decoder-Architekturen weiterhin signifikante Vorteile. Die Wahl sollte daher immer aus der Perspektive des konkreten Geschäftsprozesses getroffen werden, nicht aus technologischer Begeisterung.
« Back to Glossary Index