Tema

Métricas de clasificación

Machine Learning
Nivel base

La matriz de confusión resume los aciertos y los fallos de un clasificador, y de ella se derivan la precisión, que mide la pureza de lo predicho como positivo, y la exhaustividad, que mide qué parte de los positivos reales se capturó.

Nombre en inglés

Classification metrics

Intuición

Conviene pensar en una red de pesca. La precisión responde a qué parte de lo que subió en la red era realmente pez, y la exhaustividad responde a qué parte de los peces del mar acabó en la red. Una red enorme atrapa todo y tiene exhaustividad alta con precisión baja, mientras que una red diminuta y certera hace lo contrario. La medida F1 promedia las dos de forma armónica, de modo que castiga a quien sacrifique una por la otra.

Fórmula

precision = VP / (VP + FP);  exhaustividad = VP / (VP + FN);  F1 = 2 * precision * exhaustividad / (precision + exhaustividad)

Ejemplo resuelto

Un detector de fraude evalúa 100 operaciones y produce 8 verdaderos positivos, 2 falsos positivos, 4 falsos negativos y 86 verdaderos negativos. La precisión vale 8 dividido entre 10 = 0.80 y la exhaustividad vale 8 dividido entre 12 = 0.667. La medida F1 vale 2 por 0.80 por 0.667 entre 1.467, o sea 0.727. La exactitud, en cambio, vale 94 entre 100 = 0.94, cifra que suena bien y que un modelo que dijera siempre que no hay fraude alcanzaría con 0.88.

Errores frecuentes

Informar solo la exactitud con clases muy desbalanceadas, donde predecir siempre la clase mayoritaria ya produce una cifra alta y ningún valor práctico.
Dejar el umbral de decisión en 0.5 por costumbre, cuando el umbral debe fijarse según el coste relativo de un falso positivo frente a un falso negativo.
Comparar el área bajo la curva característica entre poblaciones con prevalencias distintas y concluir que un modelo es mejor, ya que la curva de precisión frente a exhaustividad refleja el desbalance y la otra no.

Ejercicio

Un clasificador produce 30 verdaderos positivos, 10 falsos positivos y 60 falsos negativos. Calcula la precisión, la exhaustividad y la medida F1.

Ver la solución

La precisión vale 30 dividido entre 30 + 10 = 0.75. La exhaustividad vale 30 dividido entre 30 + 60 = 0.333. La medida F1 vale 2 por 0.75 por 0.333 entre 0.75 + 0.333, o sea 0.5 entre 1.083 = 0.462. El modelo es limpio en lo que señala y se deja fuera dos de cada tres positivos, patrón típico de un umbral demasiado alto.

Respuesta: Precisión 0.75, exhaustividad 0.333 y F1 igual a 0.462.