Tema

Máquinas de vectores de soporte

Machine Learning
Nivel intermedio
Con simulador interactivo

Una máquina de vectores de soporte busca el hiperplano que separa las clases dejando el margen más ancho posible, y ese margen queda definido por unos pocos puntos frontera llamados vectores de soporte.

Nombre en inglés

Support vector machines

Intuición

De todas las rectas que separan dos nubes de puntos, la que deja el pasillo más ancho es la que menos se arrepiente ante un dato nuevo. Solo los puntos pegados al pasillo importan, de modo que mover un ejemplo lejano no cambia nada. Cuando ninguna recta separa los datos, el truco del núcleo calcula productos escalares en un espacio de más dimensiones sin visitarlo, y ahí una recta sí separa.

Fórmula

minimizar (1/2) ||w||^2 sujeto a y_i (w^T x_i + b) >= 1;  margen = 2 / ||w||;  nucleo RBF K(x, z) = exp(-gamma ||x - z||^2)

Ejemplo resuelto

En una recta hay dos puntos, x = 1 con etiqueta positiva y x = -1 con etiqueta negativa. Con w = 1 y b = 0 se cumple y (w x + b) = 1 en los dos, luego ambos son vectores de soporte. La norma de w vale 1 y el margen vale 2 dividido entre 1 = 2, que es toda la distancia entre los puntos. Cualquier w mayor cumpliría también las restricciones pero daría un margen menor, y por eso el problema minimiza la norma de w.

Errores frecuentes

Leer el parámetro C al revés, ya que un C grande castiga mucho las violaciones del margen y regulariza poco, mientras que un C pequeño admite errores y produce un margen ancho.
Usar un núcleo radial sin escalar las variables, porque la distancia que entra en el exponente mezcla unidades y el mismo gamma resulta enorme para una variable y despreciable para otra.
Subir gamma hasta que el error de entrenamiento se anula, lo que rodea cada punto con su propia burbuja y produce un modelo que memoriza en lugar de generalizar.

Ejercicio

Una máquina de vectores de soporte entrenada devuelve un vector de pesos con norma 0.5. Calcula el ancho del margen.

Ver la solución

El margen vale 2 dividido entre la norma de w, o sea 2 entre 0.5 = 4. Dicho de otro modo, la banda libre entre las dos clases mide 4 unidades y cada frontera del pasillo queda a 2 unidades del hiperplano. Como el ancho es inversamente proporcional a la norma, buscar el margen máximo equivale a minimizar esa norma, que es la forma en que se plantea el problema de optimización.