Linear & Logistic Regression Analysis
Definition: Die lineare und logistische Regressionsanalyse sind fundamentale statistische Verfahren zur Modellierung von Zusammenhängen. Die lineare Regression sagt metrische Zielgrößen vorher, die logistische Regression schätzt Wahrscheinlichkeiten für binäre Ereignisse. Beide dienen der Erklärung, Prognose und Entscheidungsfindung in Wirtschaft, Medizin und Data Science.
Was ist eine Regressionsanalyse?
Die Regressionsanalyse ist ein statistisches Verfahren zur Untersuchung von Beziehungen zwischen einer abhängigen Zielvariable und einer oder mehreren unabhängigen Einflussgrößen. Sie bildet die mathematische Grundlage für Vorhersagemodelle, Ursachenanalysen und Entscheidungsunterstützung. Sowohl die lineare als auch die logistische Regression gehören zu den meistgenutzten Methoden im Machine Learning und in der klassischen Statistik.
Eine Regression beantwortet stets die Frage: Wie verändert sich eine Zielgröße, wenn sich eine Einflussgröße ändert?
Dabei unterscheidet sich der Anspruch beider Verfahren grundlegend. Die Wahl hängt von der Art der Zielvariable ab. Wer diese Unterscheidung beherrscht, kann Modelle gezielt einsetzen und robuste Ergebnisse erzielen.
Wie funktioniert die lineare Regression?
Die lineare Regression schätzt den Zusammenhang anhand einer Geradengleichung. Die abhängige Variable ist metrisch, also kontinuierlich – etwa Umsatz, Temperatur oder Gewicht. Das Modell minimiert die Abstände zwischen beobachteten und vorhergesagten Werten. Technisch geschieht dies über die Methode der kleinsten Quadrate.
Die Stärke der linearen Regression liegt in ihrer Interpretierbarkeit. Jeder Koeffizient zeigt, wie stark eine Einflussgröße die Zielgröße verändert – unter Konstanthaltung aller übrigen Variablen. Linear bedeutet dabei nicht, dass die Daten auf einer Geraden liegen müssen, sondern dass die Modellgleichung linear in den Parametern ist.
Ein einfaches Beispiel: Ein Online-Shop möchte den Umsatz in Abhängigkeit von Werbeausgaben prognostizieren. Ein lineares Modell liefert eine Vorhersage, die als Basis für Budgetentscheidungen dient.
Wann setzt man die logistische Regression ein?
Die logistische Regression wird verwendet, wenn die Zielgröße binär ist – also zwei Ausprägungen besitzt, beispielsweise Kauf/Nicht-Kauf oder krank/gesund. Sie schätzt keine direkten Werte, sondern Wahrscheinlichkeiten für das Eintreten eines Ereignisses. Durch die logistische Sigmoidfunktion bleibt die Vorhersage stets zwischen 0 und 1.
Der größte Vorteil gegenüber der linearen Regression bei Klassifikationsproblemen: Die logistische Regression modelliert keine negativen oder über 1 liegenden Werte. Klassifikationsgrenzen lassen sich auf diese Weise sauber ziehen. Anhand eines Schwellenwerts – häufig 0,5 – wird aus einer Wahrscheinlichkeit eine binäre Entscheidung abgeleitet. Je nach Kontext kann dieser Schwellenwert als Reizschwelle angepasst werden, um Fehlerkosten zu steuern.
Eine hilfreiche Analogie: Die lineare Regression gleicht einem Maßband, das exakte Längen liefert. Die logistische Regression gleicht dagegen einer Waage, die eine Tendenz anzeigt – nicht exakt, aber richtungsweisend. Diese Heuristik reicht in vielen Entscheidungssituationen völlig aus.
In der Praxis dient die logistische Regression nicht nur zur Klassifikation, sondern auch zur Risikobewertung. Kreditinstitute nutzen sie, um die Ausfallwahrscheinlichkeit eines Kredits zu schätzen. Entscheidend sind die berechneten Wahrscheinlichkeiten, nicht die abstrakte Klassenzugehörigkeit.
Vergleich und Anwendungsfelder im Überblick
Die folgende Tabelle zeigt die entscheidenden Unterschiede:
| Kriterium | Lineare Regression | Logistische Regression |
|---|---|---|
| Zielvariable | metrisch (kontinuierlich) | binär (kategorial) |
| Ergebnis | Zahlenwert (z. B. Preis) | Wahrscheinlichkeit (0 bis 1) |
| Schätzmethode | Methode der kleinsten Quadrate | Maximum-Likelihood-Methode |
| Modellgleichung | Gerade (linear) | Sigmoidfunktion |
| Typische Anwendungen | Umsatzprognose, Trendanalyse | Churn-Prognose, Kreditrisiko |
| Bewertungsmetriken | R², RMSE | Accuracy, AUC, Log-Loss |
Beide Verfahren besitzen spezifische Voraussetzungen. Die lineare Regression erfordert annähernd normalverteilte Residuen und Homoskedastizität. Die logistische Regression verlangt keine Normalverteilung, wohl aber eine ausreichend große Stichprobe, um stabile Wahrscheinlichkeiten zu schätzen.
Die Kunst liegt nicht darin, Algorithmen anzuwenden, sondern die richtige Modellklasse für die gegebene Zielvariable zu wählen.
Im Data-Science-Prozess ergänzen sich beide Methoden. Lineare Modelle eignen sich für präzise quantitative Prognosen. Logistische Modelle überzeugen bei Entscheidungsproblemen mit zwei Ausprägungen. Wer diese Grundlagen beherrscht, versteht, warum eine Zielvariable über die Wahl des Verfahrens entscheidet.
« Back to Glossary Index