Tema
Inicialización de pesos
- Aprendizaje profundo
- Nivel intermedio
La inicialización fija la escala de los pesos antes del entrenamiento de modo que la varianza de las activaciones y la de los gradientes se mantengan estables al atravesar las capas.
Nombre en inglés
Weight initialization
Intuición
Si los pesos salen demasiado pequeños, la señal se apaga capa a capa y llega al final convertida en ruido; si salen demasiado grandes, la señal crece hasta saturar las activaciones. La regla de Xavier y la de He eligen la varianza del sorteo inicial para que la salida de cada capa conserve la escala de su entrada. Inicializar todo a cero resulta peor que cualquiera de las dos, porque deja idénticas a todas las unidades de una capa.
Fórmula
\text{Xavier} \quad \mathrm{Var}(w) = \frac{2}{n_{ent} + n_{sal}} \qquad \text{He} \quad \mathrm{Var}(w) = \frac{2}{n_{ent}}
Ejemplo resuelto
Una capa recibe 100 entradas y produce 100 salidas. Con Xavier la varianza vale 2 dividido entre 200, es decir, 0.01, y la desviación típica vale 0.1. Con He, pensada para la ReLU que descarta la mitad de la señal, la varianza vale 2 dividido entre 100, es decir, 0.02, y la desviación típica vale cerca de 0.1414. La diferencia parece menor en una capa, pero en veinte capas ese factor se eleva a 20 y separa una red que entrena de otra que no arranca. Si en cambio se inicializan todos los pesos a cero, las dos unidades de una capa oculta reciben la misma entrada, producen la misma salida y reciben el mismo gradiente, de manera que siguen siendo iguales para siempre y la capa entera vale lo mismo que una sola unidad.
Errores frecuentes
- Inicializar todos los pesos a cero o a una misma constante, lo que deja idénticas todas las unidades de una capa y anula su capacidad.
- Usar Xavier con ReLU, cuando la ReLU anula la mitad de las entradas y por eso He duplica la varianza para compensar.
- Inicializar los sesgos con valores grandes, que desplazan las activaciones fuera de la zona donde la derivada resulta útil.
Ejercicio
Una capa oculta con ReLU recibe 512 entradas. ¿Qué desviación típica indica la regla de He para el sorteo normal de sus pesos?
Ver la solución
La regla de He fija la varianza en 2 dividido entre el número de entradas, es decir, 2 dividido entre 512, que vale 0.00390625. La desviación típica es la raíz cuadrada de ese número, que vale exactamente 0.0625.
Respuesta: 0.0625