Tema
Convexidad
- Matemáticas para IA
- Nivel intermedio
Una función es convexa cuando el segmento que une dos puntos de su gráfica nunca queda por debajo de ella, y en ese caso todo mínimo local es también global.
Nombre en inglés
Convexity
Intuición
Un cuenco es convexo y una cordillera no lo es: En el cuenco, una canica lanzada desde cualquier borde termina siempre en el mismo fondo, mientras que en la cordillera acaba en el valle más cercano al punto de partida. Esa propiedad explica que la regresión logística tenga una única solución y que una red neuronal tenga muchas.
Fórmula
f(t x + (1-t) y) <= t f(x) + (1-t) f(y) para todo t entre 0 y 1 ; f es convexa si su hessiana es semidefinida positiva
Ejemplo resuelto
La función f(x) = x^2 tiene segunda derivada 2, positiva en todo punto, de modo que es convexa. Al tomar x = 0 e y = 2 con t = 0.5, el punto medio es 1 y f(1) vale 1, mientras que la media de f(0) y f(2) vale 2. Como 1 es menor que 2, la cuerda queda por encima de la gráfica, tal como exige la definición.
Errores frecuentes
- Suponer que la suma de una función convexa y otra cóncava sigue siendo convexa: No hay garantía, mientras que la suma de dos convexas sí lo es, y de ahí que la pérdida más la regularización conserve la propiedad.
- Llamar convexo a un problema solo por tener pérdida convexa: También el conjunto de restricciones debe ser convexo, ya que una restricción de enteros rompe el resultado.
- Dar por perdida la optimización cuando el problema no es convexo: El descenso de gradiente funciona bien en redes profundas pese a la falta de convexidad, aunque sin garantía de óptimo global.
Ejercicio
¿Es convexa la función f(x) = x^3 en toda la recta real?
Ver la solución
La segunda derivada vale 6 x, que resulta negativa para x menor que cero, así que la curvatura cambia de signo y la condición falla en la mitad izquierda.
Respuesta: no