Tema

Perplejidad

Lenguaje natural y modelos de lenguaje
Nivel intermedio

La perplejidad de un modelo sobre un texto es la exponencial de la entropía cruzada por token, y se lee como el número medio de continuaciones igualmente probables entre las que el modelo duda.

Nombre en inglés

Perplexity

Intuición

Un modelo con perplejidad 40 se comporta, en promedio, como si en cada paso eligiera al azar entre 40 palabras. La medida baja conforme el modelo aprende y nunca cae por debajo de 1, valor reservado a quien acierta el token siguiente con probabilidad 1, motivo por el cual conviene leerla como un tamaño efectivo de vocabulario y no como un porcentaje de acierto.

Fórmula

PP(W) = exp( - (1/T) \sum_{t=1}^{T} \ln P(w_t | w_{<t}) )

Ejemplo resuelto

Sea un texto de 3 tokens al que el modelo asigna las probabilidades 0.5, 0.25 y 0.125. Los logaritmos en base 2 valen menos 1, menos 2 y menos 3, cuya media es menos 2, de modo que la entropía cruzada mide 2 bits por token y la perplejidad vale 2 elevado a 2, es decir 4. El mismo texto con probabilidades 0.9, 0.9 y 0.9 da una entropía cruzada de 0.152 bits y una perplejidad de 1.111, que es casi la certeza.

Errores frecuentes

Comparar perplejidades calculadas con tokenizaciones distintas, porque un texto partido en subpalabras tiene más tokens y reparte la misma probabilidad total entre más factores.
Confundir la perplejidad con la calidad percibida del texto generado, cuando un modelo puede bajarla y seguir produciendo respuestas inútiles para la tarea que interesa.
Mezclar bases sin advertirlo, ya que la entropía cruzada en bits usa base 2 y en nats usa base e, y elevar a la base equivocada altera el resultado por un factor de 1.4427.

Ejercicio

Un modelo asigna probabilidad 0.25 a cada uno de los 4 tokens de una frase. ¿Cuánto vale la perplejidad?

Ver la solución

La entropía cruzada por token es el promedio de menos el logaritmo de las probabilidades. Como las cuatro valen 0.25 y el logaritmo en base 2 de 0.25 es menos 2, el promedio vale menos 2 y la entropía cruzada mide 2 bits. La perplejidad es 2 elevado a 2. Otra vía lleva al mismo sitio, porque cuando todas las probabilidades coinciden la perplejidad es el inverso de esa probabilidad, y 1 / 0.25 = 4.

Respuesta: 4