cohen_kappa_score

sklearn.metrics.cohen_kappa_score(y1, y2, *, labels=None, weights=None, sample_weight=None)

Berechnet Cohens Kappa: eine Statistik, die die Übereinstimmung zwischen Annotatoren misst.

Diese Funktion berechnet Cohens Kappa [1], einen Score, der den Grad der Übereinstimmung zwischen zwei Annotatoren bei einem Klassifikationsproblem ausdrückt. Er ist definiert als

\[\kappa = (p_o - p_e) / (1 - p_e)\]

wobei \(p_o\) die empirische Wahrscheinlichkeit der Übereinstimmung für das einem Sample zugewiesene Label ist (die beobachtete Übereinstimmungsrate) und \(p_e\) die erwartete Übereinstimmung ist, wenn beide Annotatoren Labels zufällig zuweisen. \(p_e\) wird anhand eines empirischen Priors pro Annotator über die Klassenlabels geschätzt [2].

Lesen Sie mehr im Benutzerhandbuch.

Parameter:

y1array-like der Form (n_samples,)

Labels, die vom ersten Annotator zugewiesen wurden.

y2array-like der Form (n_samples,)

Labels, die vom zweiten Annotator zugewiesen wurden. Die Kappa-Statistik ist symmetrisch, daher ändert das Vertauschen von y1 und y2 den Wert nicht.

labelsarray-like der Form (n_classes,), Standard=None

Liste der Labels zur Indizierung der Matrix. Dies kann verwendet werden, um eine Teilmenge von Labels auszuwählen. Wenn None, werden alle Labels verwendet, die mindestens einmal in y1 oder y2 vorkommen. Beachten Sie, dass mindestens ein Label in labels in y1 vorhanden sein muss, auch wenn diese Funktion sonst unempfindlich gegenüber der Reihenfolge von y1 und y2 ist.

weights{‘linear’, ‘quadratic’}, Standardwert=None

Art der Gewichtung zur Berechnung des Scores. None bedeutet keine Gewichtung; „linear“ bedeutet lineare Gewichtung; „quadratic“ bedeutet quadratische Gewichtung.

sample_weightarray-like der Form (n_samples,), Standardwert=None

Stichprobengewichte.

Gibt zurück:

kappafloat

Die Kappa-Statistik, die eine Zahl zwischen -1 und 1 ist. Der Maximalwert bedeutet vollständige Übereinstimmung; Null oder niedriger bedeutet zufällige Übereinstimmung.

Referenzen

[1]

J. Cohen (1960). „A coefficient of agreement for nominal scales“. Educational and Psychological Measurement 20(1):37-46.

[2]

R. Artstein und M. Poesio (2008). „Inter-coder agreement for computational linguistics“. Computational Linguistics 34(4):555-596.

[3]

Wikipedia-Eintrag für Cohens Kappa.

Beispiele

>>> from sklearn.metrics import cohen_kappa_score
>>> y1 = ["negative", "positive", "negative", "neutral", "positive"]
>>> y2 = ["negative", "positive", "negative", "neutral", "negative"]
>>> cohen_kappa_score(y1, y2)
0.6875