Tema

Decodificación y temperatura

Lenguaje natural y modelos de lenguaje
Nivel intermedio
Con simulador interactivo

La decodificación convierte la distribución que el modelo produce en cada paso en un texto concreto, ya sea eligiendo el máximo, explorando varias hipótesis con búsqueda en haz o muestreando con temperatura y truncamientos como top k o núcleo.

Nombre en inglés

Decoding and temperature

Intuición

El modelo no escribe texto, sino que reparte probabilidad, y la decodificación es la regla que traduce ese reparto en palabras. La temperatura divide las puntuaciones antes de la función softmax, de modo que un valor por debajo de 1 concentra la masa en el favorito y un valor por encima de 1 la reparte hacia el azar uniforme.

Fórmula

P_T(i) = exp(z_i / T) / \sum_j exp(z_j / T)

Ejemplo resuelto

Sean tres tokens con puntuaciones 2.0, 1.0 y 0.0. Con temperatura 1 las probabilidades valen 0.665, 0.245 y 0.090. Al bajar la temperatura a 0.5 las puntuaciones se duplican y la distribución se concentra en 0.867, 0.117 y 0.016. Al subirla a 2.0 se aplana hasta 0.506, 0.307 y 0.186. El favorito nunca cambia de puesto, porque dividir entre un número positivo conserva el orden, y lo único que se mueve es cuánta masa queda para las alternativas.

Errores frecuentes

Poner temperatura 0 y esperar variedad, cuando ese límite equivale a elegir siempre el máximo y devuelve la misma salida ante la misma entrada.
Combinar búsqueda en haz con tareas abiertas, porque la hipótesis de probabilidad más alta tiende a ser corta y repetitiva; el haz rinde en traducción y no en conversación libre.
Aplicar el truncamiento de núcleo antes de la temperatura suponiendo que el orden da igual, cuando la temperatura cambia la masa acumulada y por tanto cuántos tokens sobreviven al corte.

Ejercicio

Con las puntuaciones 2.0, 1.0 y 0.0 y temperatura 1, un truncamiento de núcleo con umbral 0.9 conserva los tokens cuya masa acumulada alcanza 0.9. ¿Cuántos tokens sobreviven?

Ver la solución

Las probabilidades ordenadas de mayor a menor son 0.665, 0.245 y 0.090. La masa acumulada vale 0.665 con el primero y 0.910 con los dos primeros, cifra que ya supera el umbral. En consecuencia sobreviven 2 tokens y el tercero se descarta, tras lo cual las probabilidades se renormalizan a 0.731 y 0.269.