Tema
Matriz jacobiana y matriz hessiana
- Matemáticas para IA
- Nivel intermedio
La jacobiana reúne las derivadas primeras de una función que devuelve varios valores, y la hessiana reúne las derivadas segundas de una función que devuelve uno solo.
Nombre en inglés
Jacobian and Hessian matrices
Intuición
La jacobiana es la mejor aproximación lineal de la función cerca de un punto, es decir, la matriz que sustituye a la pendiente cuando entran y salen vectores. La hessiana describe la curvatura: Si todas sus direcciones curvan hacia arriba, el punto es un mínimo; si unas suben y otras bajan, se trata de un punto de silla.
Fórmula
J_{ij} = df_i/dx_j ; H_{ij} = d^2 f / (dx_i dx_j) ; f(x + d) = f(x) + grad f(x)^T d + (1/2) d^T H d + resto
Ejemplo resuelto
Sea f(x, y) = x^2 más y^2. El gradiente vale (2 x, 2 y) y la hessiana es la matriz de filas (2, 0) y (0, 2). Sus dos autovalores valen 2, ambos positivos, de modo que el origen es un mínimo. En cambio, para f(x, y) = x^2 menos y^2 la hessiana tiene autovalores 2 y -2, y el origen pasa a ser un punto de silla.
Errores frecuentes
- Calcular la hessiana completa en una red neuronal: Con un millón de parámetros tendría un billón de entradas, razón por la que se recurre a aproximaciones o a productos de la hessiana por un vector.
- Confundir gradiente nulo con mínimo: El gradiente también se anula en máximos y en puntos de silla, y la hessiana es la que distingue los tres casos.
- Olvidar que la jacobiana no es cuadrada en general: Tiene tantas filas como salidas y tantas columnas como entradas, y ese rectángulo es la forma que maneja la retropropagación.
Ejercicio
La hessiana de una función en un punto de gradiente nulo tiene autovalores 3 y -1. ¿Qué clase de punto es?
Ver la solución
Un autovalor positivo indica curvatura hacia arriba en una dirección y uno negativo curvatura hacia abajo en otra, de manera que el punto no es ni máximo ni mínimo.
Respuesta: punto de silla