Kappa de Cohen
Associação e correlação · distribuição de referência: N(0, 1) aprox.
Quando usar
Medir a concordância entre dois avaliadores que classificam os mesmos itens em categorias, descontando a concordância esperada por acaso.
Hipótese nula
A concordância é só a do acaso: κ = 0.
Pressupostos
- Os mesmos itens classificados pelos dois avaliadores
- Categorias fixas e mutuamente exclusivas
- Avaliações independentes entre si
Estatística
\kappa = \dfrac{p_o - p_e}{1 - p_e}Tamanho de efeito
O próprio κ. Pela referência de Landis e Koch, acima de 0,6 é concordância substancial e acima de 0,8, quase perfeita.
Como reportar
κ = 0,68; IC 95% [0,52; 0,84]: concordância substancial
No R e no Python
R
library(irr)
kappa2(dados[, c("aval1", "aval2")])Python
from sklearn.metrics import cohen_kappa_score
cohen_kappa_score(aval1, aval2)No Python, stats é scipy.stats e np é numpy.
Variantes e alternativas
- Kappa ponderado, para categorias ordinais
- Kappa de Fleiss, para mais de dois avaliadores
Onde fica no catálogo
Associação e correlação. Em vez de comparar grupos, medem se duas variáveis variam juntas e com que força.
Na árvore de decisão
- O que você quer fazer? Medir a relação entre duas variáveis
- Que tipo são as variáveis? Dois avaliadores classificando os mesmos itens