Tema

Embeddings de palabras

Lenguaje natural y modelos de lenguaje
Nivel intermedio
Con simulador interactivo

Un embedding asigna a cada palabra un vector denso de unos cientos de dimensiones, entrenado para que las palabras de contextos parecidos queden cerca en ese espacio.

Nombre en inglés

Word embeddings

Intuición

La hipótesis distribucional sostiene que una palabra se conoce por la compañía que mantiene. Si médico y enfermera aparecen rodeadas de las mismas palabras, el objetivo de skip gram con muestreo negativo las empuja hacia la misma región, y las direcciones del espacio acaban codificando relaciones, de modo que el trayecto de rey a reina se parece al de actor a actriz.

Fórmula

sim(u, v) = (u \cdot v) / ( ||u||  ||v|| )

Ejemplo resuelto

Sean los vectores rey = (2, 1), hombre = (1, 1) y mujer = (0, 2). La analogía rey menos hombre más mujer da (1, 2). La similitud del coseno entre (1, 2) y reina = (1, 3) vale 7 / (2.236 por 3.162) = 7 / 7.071 = 0.990, mientras que con príncipe = (3, 1) vale 5 / 7.071 = 0.707. El vecino más cercano es reina, que es la respuesta buscada, y la distancia entre 0.990 y 0.707 muestra cuánto separa el coseno a dos candidatos razonables.

Errores frecuentes

Tomar la cercanía del coseno por sinonimia, cuando los antónimos comparten contexto y caro suele quedar muy cerca de barato.
Promediar los embeddings de un documento largo y esperar que el vector medio conserve el tema, ya que las palabras frecuentes dominan la media y el resultado tiende al centro del espacio.
Usar embeddings estáticos donde importa el sentido según el contexto, porque banco recibe un único vector que mezcla la entidad financiera y el asiento.

Ejercicio

Dos vectores unitarios forman un ángulo de 60 grados. ¿Cuánto vale su similitud del coseno y qué distancia euclidiana los separa?

Ver la solución

La similitud del coseno de dos vectores unitarios es el coseno del ángulo, y el coseno de 60 grados vale 0.5. La distancia euclidiana al cuadrado entre vectores unitarios es 2 menos 2 veces el coseno, es decir 2 menos 1 = 1, de modo que la distancia vale 1. Conviene retener que con vectores normalizados ordenar por coseno y ordenar por distancia euclidiana produce el mismo orden.