Tema

Normas y distancias

Matemáticas para IA
Nivel base

Una norma asigna un tamaño no negativo a un vector, y la distancia entre dos puntos es la norma de su diferencia.

Nombre en inglés

Norms and distances

Intuición

La norma euclídea mide en línea recta, como el vuelo de un pájaro, mientras que la norma uno mide como un taxi que solo avanza por calles perpendiculares. La bola unitaria de la norma dos es un círculo y la de la norma uno es un rombo, y esa esquina del rombo explica por qué la regularización uno lleva coeficientes exactamente a cero.

Fórmula

|x|_p = (sum_i |x_i|^p)^{1/p} ; |x|_2 = sqrt(sum_i x_i^2) ; |x|_1 = sum_i |x_i| ; |x|_inf = max_i |x_i|

Ejemplo resuelto

Para x = (3, -4) la norma uno vale 3 más 4, es decir 7, y la norma dos vale la raíz de 9 más 16, es decir 5. La norma infinito toma el mayor valor absoluto, que vale 4. Las tres miden el mismo vector y dan tres números distintos, razón por la que siempre conviene decir qué norma se está usando.

Errores frecuentes

Comparar errores medidos con normas distintas: Un error de 5 en norma dos y otro de 7 en norma uno pueden proceder del mismo vector, de modo que la comparación no dice nada.
Olvidar escalar las características antes de medir distancias: Una columna en pesos y otra en años hacen que la distancia euclídea la decida la columna de mayor rango, y con ello el método de los vecinos más cercanos deja de mirar el resto.
Tratar la norma uno como derivable en el origen: No lo es, y de ahí que la regularización uno se resuelva con subgradientes o con un umbral suave.

Ejercicio

Calcule la distancia euclídea entre a = (1, 2) y b = (4, 6).

Ver la solución

Se resta componente a componente y se obtiene la diferencia (-3, -4). La norma dos de esa diferencia es la raíz de 9 más 16, que es un caso del triángulo de lados 3 y 4.

Respuesta: 5