Tema

Perceptrón

Aprendizaje profundo
Nivel base
Con simulador interactivo

El perceptrón clasifica un vector de entrada según el signo de una combinación lineal de sus componentes más un sesgo, y corrige sus pesos cada vez que se equivoca.

Nombre en inglés

Perceptron

Intuición

El vector de pesos apunta hacia el lado positivo de un hiperplano que parte el espacio en dos. Cuando un punto queda del lado equivocado, la regla suma o resta ese mismo punto al vector de pesos, con lo que gira el hiperplano justo lo necesario para acercarlo a la respuesta correcta. Si los datos admiten una separación lineal, el giro se repite un número finito de veces y el proceso se detiene solo.

Fórmula

\hat{y} = \mathrm{signo}(w^T x + b) \qquad \text{si } y(w^T x + b) \le 0 \text{ entonces } w \leftarrow w + \eta y x, \quad b \leftarrow b + \eta y

Ejemplo resuelto

Sean tres puntos del plano, A = (1, 1) con etiqueta +1, B = (-1, -1) con etiqueta -1 y C = (1, -1) con etiqueta -1. Se parte de w = (0, 0), b = 0 y tasa 1. Con A el margen vale 0, que no es positivo, de modo que hay corrección y los pesos pasan a w = (1, 1) y b = 1. Con B el margen vale menos uno por (-1 menos 1 más 1) = 1, que es positivo, así que no hay cambio. Con C el margen vale menos uno por (1 menos 1 más 1) = -1, de modo que hay corrección y los pesos pasan a w = (1, 1) menos (1, -1) = (0, 2) y b = 1 menos 1 = 0. En la segunda pasada los tres puntos quedan bien clasificados, ya que sus puntuaciones valen 2, -2 y -2, y el proceso termina con la frontera y igual a cero, es decir, el eje horizontal.

Errores frecuentes

Aplicar la regla a datos que no admiten separación lineal, caso en el que nunca converge y los pesos oscilan para siempre.
Suprimir el sesgo y forzar la frontera a pasar por el origen, lo que deja sin resolver problemas tan sencillos como separar el punto (1, 1) del punto (2, 2), que están alineados con el origen.
Confundir la regla del perceptrón con el descenso de gradiente sobre la pérdida de cero o uno, que no tiene gradiente útil porque su derivada vale cero en casi todo punto.

Ejercicio

Se parte de w = (0, 0) y b = 0 con tasa 1. Se presenta el punto x = (1, 2) con etiqueta +1 y se aplica una sola corrección. ¿Cuánto valen w y b después de esa corrección?

Ver la solución

La puntuación vale cero, de modo que el margen con etiqueta también vale cero y la condición de error se cumple porque no es estrictamente positivo. La regla suma la tasa por la etiqueta por el punto al vector de pesos, es decir, (0, 0) más (1, 2), y suma la tasa por la etiqueta al sesgo. El resultado es w = (1, 2) y b = 1.