Tema
Gradiente de política y REINFORCE
- Aprendizaje por refuerzo
- Nivel avanzado
Los métodos de gradiente de política optimizan directamente los parámetros de una política estocástica subiendo por el gradiente del rendimiento esperado, sin pasar por una función de valor.
Nombre en inglés
Policy gradient and REINFORCE
Intuición
En lugar de estimar cuánto vale cada acción y después elegir la mejor, se ajusta la probabilidad de cada acción en proporción a lo bien que salió. La identidad del truco del logaritmo convierte la derivada de una esperanza en una esperanza que se puede muestrear. La ventaja es que admite acciones continuas y políticas suaves, mientras que el inconveniente es una varianza alta que se rebaja restando una línea base al retorno.
Fórmula
\nabla_{\theta} J = E_{\pi} [\nabla_{\theta} \log \pi_{\theta}(a \mid s) (G_t - b(s))] \qquad \theta \leftarrow \theta + \alpha \nabla_{\theta} \log \pi_{\theta}(a \mid s) G_t
Ejemplo resuelto
Sea una política softmax sobre dos acciones con preferencias iguales a cero, de modo que ambas tienen probabilidad 0.5. Se toma la primera acción, el episodio devuelve un retorno de 2 y la tasa vale 0.1. La derivada del logaritmo de la probabilidad respecto de la preferencia de la acción tomada vale 1 menos 0.5 = 0.5, y respecto de la otra vale -0.5. Las preferencias pasan a 0.1 por 2 por 0.5 = 0.1 y a -0.1, con lo que la probabilidad de la primera sube a cerca de 0.5498. Si se resta una línea base de 1, la ventaja vale 1 en lugar de 2 y el paso se reduce a la mitad, lo que baja la varianza sin cambiar el gradiente esperado.
Errores frecuentes
- Restar una línea base que dependa de la acción, lo que introduce sesgo; la línea base solo puede depender del estado.
- Reutilizar episodios de una política anterior sin corregir por razón de verosimilitud, ya que REINFORCE es un método dentro de política.
- Interpretar un retorno positivo como prueba de que la acción fue buena, cuando sin línea base todas las acciones de un episodio con retorno positivo ven subir su probabilidad.
Ejercicio
Una política softmax da probabilidad 0.25 a la acción tomada. ¿Cuánto vale la derivada del logaritmo de su probabilidad respecto de la preferencia de esa misma acción?
Ver la solución
En una política softmax, esa derivada vale 1 menos la probabilidad de la acción tomada. Con probabilidad 0.25 el resultado es 0.75. Conviene notar que cuanto menos probable era la acción, mayor resulta el empujón que recibe.
Respuesta: 0.75