Tema
Normalización por lotes
- Aprendizaje profundo
- Nivel intermedio
La normalización por lotes resta la media y divide entre la desviación típica de cada característica dentro del lote, y después reescala el resultado con dos parámetros aprendidos.
Nombre en inglés
Batch normalization
Intuición
Cada capa aprende sobre una entrada cuya distribución cambia mientras las capas de abajo se mueven, lo que obliga a bajar la tasa de aprendizaje. Al fijar media cero y varianza uno en cada característica, la capa de arriba recibe siempre una entrada de la misma escala. Los dos parámetros aprendidos devuelven a la red la libertad de elegir otra escala si le conviene, incluida la de deshacer la normalización.
Fórmula
\hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} \qquad y_i = \gamma \hat{x}_i + \beta
Ejemplo resuelto
Un lote de cuatro ejemplos deja en una característica los valores 1, 2, 3 y 6. La media vale 3 y la varianza es la media de los cuadrados de las desviaciones, es decir, (4 más 1 más 0 más 9) dividido entre 4, que da 3.5. La desviación típica vale cerca de 1.8708. Los valores normalizados son -1.069, -0.535, 0 y 1.604, cuya suma da cero. Con gamma = 2 y beta = 1, la capa entrega -1.138, -0.070, 1 y 4.208. En evaluación no hay lote, motivo por el cual la capa guarda durante el entrenamiento una media y una varianza móviles y las usa en su lugar.
Errores frecuentes
- Dejar la capa en modo de entrenamiento al evaluar, con lo que la predicción de un ejemplo depende de los demás ejemplos del lote y deja de ser reproducible.
- Usar lotes de uno o dos ejemplos, porque la media y la varianza estimadas con tan pocos datos resultan ruidosas y conviene entonces la normalización por capas o por grupos.
- Mantener el sesgo de la capa lineal que precede a la normalización, ya que la resta de la media lo elimina y el parámetro beta cumple ese papel.
Ejercicio
Un lote deja en una característica los valores 2, 4, 4 y 6. ¿Cuál es el valor normalizado del primero, antes de aplicar gamma y beta y despreciando epsilon?
Ver la solución
La media es (2 más 4 más 4 más 6) dividido entre 4, que vale 4. Las desviaciones son -2, 0, 0 y 2, cuyos cuadrados suman 8, de modo que la varianza vale 2 y la desviación típica vale la raíz de 2, cerca de 1.4142. El primer valor normalizado es (2 menos 4) dividido entre 1.4142, cerca de -1.4142.
Respuesta: cerca de -1.4142