Tema

Formación de recompensas

Aprendizaje por refuerzo
Nivel intermedio

La formación de recompensas añade una señal auxiliar para guiar al agente cuando la recompensa original es escasa, y la forma basada en potencial garantiza que la política óptima no cambie.

Nombre en inglés

Reward shaping

Intuición

Un agente que solo cobra al llegar a la meta puede tardar millones de pasos en encontrarla por azar. Una pista añadida acorta esa búsqueda, pero una pista mal puesta enseña a dar vueltas donde se paga en lugar de llegar. La forma basada en potencial resuelve el problema porque lo que suma es la diferencia descontada de una misma función entre el destino y el origen, con lo que recorrer un ciclo no acumula ganancia.

Fórmula

R'(s, a, s') = R(s, a, s') + \gamma \Phi(s') - \Phi(s)

Ejemplo resuelto

Se toma el mundo de tres estados con descuento 0.9 y el potencial que vale 0 en A, 5 en B y 0 en la meta. La transición de A a B, que no pagaba nada, pasa a pagar 0.9 por 5 menos 0 = 4.5. La transición de B a A pasa a pagar 0.9 por 0 menos 5 = -5, es decir, retroceder ahora cuesta. La transición de B a la meta, que pagaba 10, pasa a pagar 10 más 0 menos 5 = 5. El ciclo que va de A a B y vuelve a A suma 4.5 menos 5 = -0.5, de modo que dar vueltas nunca compensa y la política óptima sigue siendo avanzar.

Errores frecuentes

Premiar un comportamiento intermedio sin usar un potencial, lo que crea ciclos rentables y enseña al agente a repetirlos en lugar de terminar la tarea.
Elegir un potencial que no se parezca en nada al valor óptimo, ya que entonces la garantía se mantiene pero la ayuda desaparece.
Cambiar el potencial a mitad del entrenamiento sin rehacer el cálculo, con lo que la garantía deja de aplicarse.

Ejercicio

Con un descuento de 1, un potencial de 3 en el estado de partida y de 7 en el de llegada, ¿cuánto suma la formación por potencial a la recompensa de esa transición?

Ver la solución

El término añadido es el descuento por el potencial de llegada menos el potencial de partida, es decir, 7 menos 3, que vale 4. La transición de vuelta sumaría 3 menos 7 = -4, de modo que el par de ida y vuelta se cancela.

Respuesta: 4