Métricas de classificação

Tudo parte da matriz de confusão: verdadeiros positivos (VP), falsos positivos (FP), falsos negativos (FN) e verdadeiros negativos (VN).

• Acurácia = (VP + VN) / total. Engana em bases desbalanceadas.
• Precisão = VP / (VP + FP). "Dos que o modelo disse positivo, quantos eram?" Importa quando o falso positivo custa caro (ex.: bloquear um contribuinte correto).
• Recall (sensibilidade) = VP / (VP + FN). "Dos positivos reais, quantos achei?" Importa quando o falso negativo custa caro (ex.: fraude que passa).
• F1 = média harmônica de precisão e recall.
• Especificidade = VN / (VN + FP).
• AUC-ROC: área sob a curva de recall × taxa de falsos positivos variando o limiar; 0,5 é chute.

Pegadinhas

• Aumentar o limiar de decisão tende a subir a precisão e baixar o recall.
• Em regressão as métricas são outras: MAE, MSE, RMSE e R².