A matriz de confusão é uma ferramenta fundamental para avaliar o desempenho de modelos de classificação. Ela nos permite visualizar a distribuição das previsões feitas pelo modelo em relação aos valores verdadeiros.

Considere a seguinte matriz de confusão para um modelo de classificação binária (spam vs. não spam):

• Verdadeiros Positivos (True Positives - TP): 100. São os casos em que o modelo previu corretamente que o e-mail era spam e o e-mail era realmente spam.
• Falsos Positivos (False Positives - FP): 20. São os casos em que o modelo previu incorretamente que o e-mail era spam quando na verdade não era spam.
• Verdadeiros Negativos (True Negatives - TN): 300. São os casos em que o modelo previu corretamente que o e-mail não era spam e o e-mail era realmente não spam.
• Falsos Negativos (False Negatives - FN): 10. São os casos em que o modelo previu incorretamente que o e-mail não era spam quando na verdade era spam.

Com base na matriz de confusão, podemos calcular diversas métricas de avaliação:

[ \text{Precision} = \frac{TP}{TP + FP} ] [ \text{Precision} = \frac{100}{100 + 20} \approx 0.833 ]

A precisão mede a proporção de exemplos positivos previstos corretamente pelo modelo em relação ao número total de exemplos previstos como positivos. Neste caso, aproximadamente 83.3% das previsões positivas do modelo são realmente positivas.

[ \text{Recall} = \frac{TP}{TP + FN} ] [ \text{Recall} = \frac{100}{100 + 10} \approx 0.909 ]

O recall mede a proporção de exemplos positivos previstos corretamente pelo modelo em relação ao número total de exemplos positivos reais no conjunto de dados. Neste caso, aproximadamente 90.9% dos exemplos positivos foram corretamente identificados pelo modelo.

[ \text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} ] [ \text{F1-Score} = 2 \times \frac{0.833 \times 0.909}{0.833 + 0.909} \approx 0.869 ]

O F1-Score é a média harmônica entre a precisão e o recall. Ele fornece uma única métrica que combina essas duas medidas. Neste caso, o F1-Score é aproximadamente 0.869.