Classification Algorithms (Random Forest / XGBoost)
Definition: Klassifikationsalgorithmen sind Verfahren des überwachten maschinellen Lernens, die Objekte anhand ihrer Merkmale diskreten Klassen zuordnen. Random Forest und XGBoost gehören zu den leistungsfähigsten Ensemble-Methoden: Sie kombinieren viele Entscheidungsbäume, um Vorhersagen zu stabilisieren und Überanpassung zu reduzieren. Dadurch erreichen sie hohe Genauigkeit bei tabellarischen Daten und sind in Business Intelligence weit verbreitet.
Grundprinzip der Klassifikation
Klassifikationsalgorithmen ordnen Datenpunkte diskreten Klassen zu. Das Verfahren lernt aus gelabelten Beispielen. Eine Merkmalsmatrix wird auf eine Zielvariable abgebildet. Entscheidungsbäume bilden dafür die Basis. Sie teilen den Merkmalsraum rekursiv in Regionen auf. Das klingt einfach. Trotzdem leiden einzelne Bäume unter hoher Varianz. Schon kleine Datenänderungen erzeugen völlig andere Strukturen. Genau hier setzen Ensemble-Methoden an.
Ein einzelner Entscheidungsbaum rauscht. Ein Ensemble rauscht weniger.
Random Forest: Bagging mit Entscheidungsbäumen
Random Forest kombiniert viele Bäume per Bagging (Bootstrap Aggregating). Jeder Baum wird auf einer zufälligen Stichprobe mit Zurücklegen trainiert. Zusätzlich wählt jeder Split nur eine zufällige Teilmenge der Merkmale. Das dekorreliert die Bäume. Die Klasse mit den meisten Stimmen gewinnt. Dadurch sinkt die Varianz, ohne den Bias wesentlich zu erhöhen. Random Forest ist relativ robust gegenüber Ausreißern und skaliert gut auf tabellarischen Daten.
Typische Hyperparameter: Anzahl der Bäume, maximale Tiefe, minimale Blattgröße. Eine zu hohe Baumzahl verbessert nicht unbegrenzt. Wichtiger ist die Qualität der einzelnen Splits. Die Feature Importance lässt sich direkt aus der durchschnittlichen Gini-Abnahme ableiten.
XGBoost: Gradient Boosting für maximale Performance
XGBoost (Extreme Gradient Boosting) arbeitet nach dem Boosting-Prinzip. Es trainiert Bäume sequenziell. Jeder neue Baum korrigiert die Fehler seiner Vorgänger. Dazu minimiert das Verfahren eine Loss-Funktion mittels Gradientenabstieg. Eine Regularisierungskomponente bestraft zu komplexe Modelle. Dies senkt das Risiko der Überanpassung. XGBoost ist bekannt für hohe Geschwindigkeit. Es nutzt Cache-Optimierung, Spalten-Subsampling und parallele Verarbeitung. Fehlende Werte werden automatisch behandelt. Das macht XGBoost zur ersten Wahl in vielen Data-Science-Wettbewerben.
Vergleich und Einsatzentscheidung
Die folgende Tabelle fasst die wichtigsten Unterschiede zusammen.
| Kriterium | Random Forest | XGBoost |
|---|---|---|
| Lernprinzip | Bagging (parallel) | Boosting (sequenziell) |
| Varianz | niedrig, robust | stark abhängig von Hyperparametern |
| Geschwindigkeit | gut parallelisierbar, aber langsamer mit vielen Bäumen | sehr schnell durch Optimierung |
| Hyperparameter | wenige, einfach | viele, erfordert Abstimmung |
| Interpretierbarkeit | gut | mittel |
| Typische Anwendung | Baseline, robuste Vorhersage | Wettbewerbe, maximale Genauigkeit |
Welche Methode sollten Sie wählen? Für schnelle, robuste Ergebnisse ist Random Forest oft ausreichend. Wenn höchste Performance zählt und Sie Zeit für die Feinabstimmung haben, punktet XGBoost. Übrigens lässt sich die Modellwahl mit Kreuzvalidierung absichern. Eine gute Faustregel: Starten Sie mit Random Forest, um ein Gefühl für die Daten zu bekommen. Danach testen Sie ein getuntes XGBoost-Modell.
Und nun die Feynman-Analogie: Stellen Sie sich Ihre Fragestellung als Reise durch eine Stadt vor. Random Forest fragt viele Taxifahrer nach dem schnellsten Weg und wählt die häufigste Antwort. XGBoost fährt einmal, merkt sich jede falsche Abzweigung, korrigiert die Route und wird so bei jedem Versuch besser. Beide Strategien sind mächtig. Nur die Zielsetzung entscheidet, welche passt.
« Back to Glossary Index