Accuracy
Definition: Accuracy bezeichnet in der KI-Evaluation den Quotienten aus korrekt klassifizierten Vorhersagen und der Gesamtzahl aller Vorhersagen. Dieses Metrik-Verhältnis quantifiziert die generelle Übereinstimmung zwischen Modellausgabe und Ground Truth. Bei unbalancierten Datensätzen verzerrt Accuracy die reale Modellgüte jedoch erheblich, weshalb Precision, Recall und F1-Score ergänzend herangezogen werden müssen.
Accuracy als Fundament der Modellbewertung
Accuracy ist die intuitivste Metrik im Machine Learning. Sie beantwortet die Frage: Wie oft liegt das Modell insgesamt richtig? Formal ausgedrückt: (True Positives + True Negatives) geteilt durch die Gesamtzahl aller Fälle. Diese simple Kennzahl suggeriert auf den ersten Blick eine klare Aussagekraft. Doch genau hier beginnt das Problem. Ein Modell, das in 95 Prozent der Fälle korrekt liegt, klingt exzellent. Liegt jedoch eine Klasse mit 95 Prozent aller Samples vor, erreicht ein naiver Klassifikator, der immer die Mehrheitsklasse ausgibt, exakt diese Accuracy – ohne irgendeine tatsächliche Lernleistung.
Accuracy ist eine Metrik für symmetrische Fehlerkosten. Sobald Fehler unterschiedliche Konsequenzen haben, verliert sie ihre Aussagekraft als alleiniges Gütekriterium.
Die Confusion Matrix als diagnostisches Werkzeug
Um Accuracy korrekt zu interpretieren, benötigt man die vier Zellen der Confusion Matrix. True Positives und True Negatives repräsentieren korrekte Entscheidungen. False Positives (Fehler 1. Art) und False Negatives (Fehler 2. Art) offenbaren die Fehlerstruktur. Ein Spam-Filter mit hoher Accuracy kann dennoch geschäftskritische E-Mails im Junk-Ordner verschwinden lassen. Die Kosten eines False Negative übersteigen hier den Nutzen einer hohen Gesamtgenauigkeit bei weitem. Im medizinischen Screening wiegt ein übersehener Tumor ungleich schwerer als ein falscher Alarm.
| Metrik | Formel | Fokus | Idealer Einsatz |
|---|---|---|---|
| Accuracy | (TP + TN) / (TP + TN + FP + FN) | Gesamtkorrektheit | Balancierte Klassen |
| Precision | TP / (TP + FP) | Relevanz der Positiv-Vorhersagen | Kostenintensive False Positives |
| Recall | TP / (TP + FN) | Vollständigkeit der Positiv-Erkennung | Kostenintensive False Negatives |
| F1-Score | 2 × (Precision × Recall) / (Precision + Recall) | Harmonisches Mittel | Unbalancierte Daten |
Accuracy im RAG-Kontext und bei unbalancierten Daten
Retrieval-Augmented Generation verschiebt die Bewertungsebene. Hier bezieht sich Accuracy nicht allein auf die Klassifikation, sondern auf die faktische Korrektheit generierter Antworten. Ein RAG-System kann syntaktisch perfekte Sätze produzieren, die semantisch falsch sind. Die Evaluationsmetrik muss dann zwischen Retrieval Accuracy (wurde das richtige Dokument gefunden?) und Generation Accuracy (wurde die Antwort korrekt formuliert?) unterscheiden. Zusätzlich existiert das Phänomen der Accuracy Paradox: Bei einem Datensatz mit 99 Prozent Negativ-Fällen erreicht ein Modell, das pauschal Negativ ausgibt, 99 Prozent Accuracy – und ist dennoch wertlos.
Kontextuelle Abgrenzung: KI-Evaluation vs. klassische Statistik vs. Messtechnik
Der Begriff Accuracy trägt in unterschiedlichen Domänen distinkte Bedeutungen. In der klassischen Statistik und Messtechnik bezeichnet Accuracy die Nähe eines Messwerts zum wahren Wert – abgegrenzt von Precision, die die Streuung wiederholter Messungen beschreibt. Ein Messgerät kann präzise, aber inakkurat sein. In der KI-Evaluation hingegen wird Accuracy als Klassifikationsmetrik verwendet, während Precision eine eigene Fehlerkennzahl darstellt. Diese terminologische Divergenz führt in interdisziplinären Teams regelmäßig zu Missverständnissen. Im Finanzwesen wiederum bezieht sich Accuracy auf die Prognosegüte von Umsatzprojektionen, gemessen als Abweichung zwischen Forecast und Ist-Ergebnis. Die Schnittstelle zwischen KI-Evaluation und RevOps entsteht, wenn Predictive Lead Scoring Modelle anhand ihrer Accuracy bewertet werden – hier entscheidet die Metrikwahl direkt über die Allokation von Vertriebsressourcen.
Die strategische Metrikwahl als Erfolgsfaktor
Die Auswahl der richtigen Evaluationsmetrik ist keine technische Detailfrage, sondern eine strategische Entscheidung. Sie determiniert, welche Fehler ein System optimiert und welche Kosten dadurch entstehen. Ein KI-System für die Kreditwürdigkeitsprüfung muss andere Fehler minimieren als ein Empfehlungssystem für Marketing-Kampagnen. Die Accuracy liefert dabei stets eine wertvolle Basislinie, darf aber niemals isoliert betrachtet werden. Erst die Kombination mit Precision, Recall, F1-Score und domänenspezifischen Kostenfunktionen erzeugt ein vollständiges Bild der Modellgüte. Für die Praxis gilt: Accuracy als Einstieg nutzen, die Confusion Matrix als Diagnosewerkzeug einsetzen und die finale Metrik an den Geschäftskontext koppeln.
« Back to Glossary Index