Tema

K vecinos más cercanos

Machine Learning
Nivel base
Con simulador interactivo

El método de k vecinos más cercanos clasifica un punto nuevo por votación entre las k muestras de entrenamiento más próximas según una distancia elegida, sin construir ningún modelo durante el entrenamiento.

Nombre en inglés

K nearest neighbors

Intuición

Toda la hipótesis del método cabe en una frase, y es que los puntos cercanos comparten etiqueta. El entrenamiento consiste en guardar los datos y el trabajo se paga en cada consulta, por lo que se dice que es un aprendiz perezoso. El valor de k regula la suavidad de la frontera, ya que k igual a 1 produce una frontera que abraza cada punto y un k grande produce una frontera casi recta que ignora el detalle.

Fórmula

y_est(x) = moda de las etiquetas de los k puntos que minimizan d(x, x_i),  con d euclídea, de Manhattan o de coseno

Ejemplo resuelto

Cinco puntos etiquetados en el plano son A(1, 1) positivo, B(2, 2) positivo, E(1, 3) positivo, C(5, 6) negativo y D(6, 5) negativo. Se consulta el punto (3, 3) con k igual a 3 y distancia euclídea. Las distancias valen 2.83 hasta A, 1.41 hasta B, 2.00 hasta E, 3.61 hasta C y 3.61 hasta D. Los tres vecinos más cercanos son B, E y A, los tres positivos, de modo que la predicción es positiva por 3 votos contra 0.

Errores frecuentes

No escalar las variables antes de medir distancias, porque un atributo con rango de 0 a 1000 aplasta a otro con rango de 0 a 1 y la vecindad acaba decidida por una sola columna.
Elegir un k par en un problema de dos clases, lo que abre la puerta a empates que hay que resolver con una regla arbitraria.
Confiar en el método con muchas dimensiones, ya que en un espacio de alta dimensión las distancias entre pares de puntos se parecen entre sí y la idea de vecino cercano pierde sentido.

Ejercicio

Con los cinco puntos del ejemplo, clasifica el punto (4, 4) con k igual a 1 y con k igual a 5.

Ver la solución

Las distancias desde (4, 4) valen 4.24 hasta A, 2.83 hasta B, 3.16 hasta E, 2.24 hasta C y 2.24 hasta D. Con k igual a 1 el vecino más cercano es C o D, ambos negativos y a la misma distancia, de modo que la predicción es negativa. Con k igual a 5 votan los cinco puntos, con 3 positivos contra 2 negativos, y la predicción pasa a positiva. El ejemplo muestra que k no es un detalle, porque cambia la respuesta.