Tema
Gradiente y regla de la cadena
- Matemáticas para IA
- Nivel base
El gradiente de una función de varias variables es el vector de sus derivadas parciales y apunta en la dirección de máximo crecimiento.
Nombre en inglés
Gradient and chain rule
Intuición
Sobre un terreno con niebla, el gradiente es la dirección de máxima pendiente hacia arriba bajo los pies, y su longitud dice cuán empinada está la ladera. La regla de la cadena permite encadenar pendientes cuando una variable depende de otra, y es exactamente el recorrido que hace la retropropagación hacia atrás por la red.
Fórmula
grad f(x) = (df/dx_1, df/dx_2, ..., df/dx_n) ; si z = f(y) e y = g(x) entonces dz/dx = (dz/dy) (dy/dx)
Ejemplo resuelto
Sea f(x, y) = x^2 más 3 x y. La derivada parcial respecto de x vale 2 x más 3 y, y la derivada parcial respecto de y vale 3 x. En el punto (1, 2) el gradiente vale (2 más 6, 3), es decir (8, 3). Avanzar por esa dirección aumenta f más deprisa que por cualquier otra.
Errores frecuentes
- Tratar el gradiente como un escalar: Es un vector con una componente por parámetro, y en una red con un millón de pesos tiene un millón de componentes.
- Perder un factor de la regla de la cadena: Al derivar el error cuadrático medio aparece un 2 que se olvida a menudo, y aunque el mínimo no cambia, sí cambia la escala del paso.
- Confundir el gradiente con la dirección hacia el mínimo: Apunta hacia arriba, motivo por el cual el descenso avanza en sentido contrario.
Ejercicio
Sea f(x, y) = x^2 y. Calcule el gradiente en el punto (2, 3).
Ver la solución
La parcial respecto de x es 2 x y, que en el punto (2, 3) vale 12. La parcial respecto de y es x al cuadrado, que vale 4.
Respuesta: (12, 4)