Tema

Descomposición de sesgo y varianza

Machine Learning
Nivel base
Con simulador interactivo

El error cuadrático esperado de un modelo en un punto se descompone en tres sumandos, el cuadrado del sesgo, la varianza del propio modelo y el ruido irreducible del problema.

Nombre en inglés

Bias variance decomposition

Intuición

Conviene imaginar que se reentrena el mismo modelo cien veces con cien muestras distintas del mismo fenómeno. El sesgo mide a qué distancia queda la predicción media de la verdad, y la varianza mide cuánto bailan las cien predicciones entre sí. Un modelo demasiado simple acierta poco pero siempre igual, un modelo demasiado flexible acierta en promedio y falla de forma distinta cada vez, y el ruido no lo arregla ningún modelo.

Fórmula

E[(y - f_est(x))^2] = Sesgo[f_est(x)]^2 + Var[f_est(x)] + sigma^2

Ejemplo resuelto

Se ajusta un polinomio a 10 puntos que provienen de una parábola con ruido. Con grado 1 la predicción media queda lejos de la curva verdadera, de modo que el sesgo al cuadrado vale 0.20 y la varianza 0.01. Con grado 9 la curva pasa por todos los puntos y el sesgo al cuadrado baja a 0.01, pero la varianza sube a 0.30. Con grado 2 se obtiene sesgo al cuadrado 0.02 y varianza 0.04. Si el ruido aporta 0.05, los errores totales valen 0.26, 0.36 y 0.11, y gana el grado 2.

Errores frecuentes

Creer que añadir datos reduce el sesgo, cuando más datos reducen la varianza y el sesgo solo baja cambiando la familia de modelos o añadiendo capacidad.
Meter el ruido irreducible dentro de la varianza del modelo, con lo que se persigue un error cero que ninguna cantidad de ajuste puede alcanzar.
Leer una curva de aprendizaje al revés, ya que un hueco grande entre el error de entrenamiento y el de validación señala varianza, mientras que dos curvas juntas y altas señalan sesgo.

Ejercicio

Un modelo tiene sesgo 0.3, varianza 0.02 y el problema tiene ruido irreducible 0.05. Calcula el error cuadrático esperado.

Ver la solución

El sesgo entra al cuadrado, de modo que aporta 0.3 por 0.3 = 0.09. La varianza entra tal cual y aporta 0.02. El ruido aporta 0.05. La suma da 0.09 + 0.02 + 0.05 = 0.16. Conviene notar que el sesgo domina el resultado, así que regularizar más empeoraría el modelo y lo que toca es aumentar su capacidad.