Tema

Ajuste por instrucciones y RLHF

Lenguaje natural y modelos de lenguaje
Nivel avanzado
Con simulador interactivo

El ajuste por instrucciones entrena con pares de instrucción y respuesta escrita, mientras que el aprendizaje por refuerzo con retroalimentación humana añade un modelo de recompensa entrenado sobre comparaciones entre respuestas y lo usa para guiar la optimización de la política.

Nombre en inglés

Instruction tuning and RLHF

Intuición

Pedir a una persona que escriba la respuesta perfecta resulta caro y poco consistente, mientras que pedirle que ordene dos respuestas es rápido y estable. De esas comparaciones sale una función de recompensa, y la política se mueve hacia recompensas altas con una penalización que la sujeta al modelo de partida, porque sin esa sujeción el optimizador encuentra salidas con recompensa alta y texto degenerado.

Fórmula

P(a mejor que b) = \sigma(r(a) - r(b)) ; objetivo = E[ r(y) ] - \beta KL( \pi(y|x) || \pi_ref(y|x) )

Ejemplo resuelto

Sea un par de respuestas con recompensas r(a) = 1.5 y r(b) = 0.5. El modelo de Bradley y Terry asigna a la preferencia por a la probabilidad sigma(1.5 menos 0.5) = sigma(1.0) = 0.731, de modo que un anotador que prefiriera b aportaría una pérdida de menos log(0.269) = 1.313. Con 3 anotadores que eligen a, a y b, la pérdida media vale (0.313 más 0.313 más 1.313) / 3 = 0.647.

Errores frecuentes

Quitar la penalización respecto del modelo de referencia para subir la recompensa, atajo que lleva a respuestas aduladoras o repetitivas que el modelo de recompensa premia y la persona rechaza.
Entrenar el modelo de recompensa con anotaciones de un solo grupo y suponer que generaliza, cuando las preferencias dependen del dominio y de quién anota.
Confundir el ajuste por instrucciones con el aprendizaje por refuerzo con retroalimentación humana, ya que el primero es aprendizaje supervisado sobre respuestas escritas y el segundo optimiza contra una recompensa aprendida.

Ejercicio

Un modelo de recompensa da r(a) = 2.0 y r(b) = 0.0. ¿Qué probabilidad asigna a que una persona prefiera a?

Ver la solución

La probabilidad sale de la función logística aplicada a la diferencia de recompensas, es decir sigma(2.0 menos 0.0) = 1 / (1 más exp(menos 2)) = 1 / 1.135 = 0.881. Conviene notar que solo importa la diferencia, motivo por el cual sumar una constante a todas las recompensas no cambia nada y la escala del modelo de recompensa resulta arbitraria.