Tema

Métodos actor crítico

Aprendizaje por refuerzo
Nivel avanzado

Un método actor crítico combina una política con parámetros, el actor, con una estimación de valor, el crítico, y usa el error temporal del crítico como señal para actualizar al actor.

Nombre en inglés

Actor critic methods

Intuición

REINFORCE espera al final del episodio y paga esa espera con varianza, mientras que el crítico sustituye el retorno completo por una estimación disponible en cada paso. El error temporal actúa como una ventaja aproximada, ya que dice si la transición salió mejor o peor de lo que el crítico preveía. El precio es un sesgo que depende de lo bien calibrado que esté el crítico.

Fórmula

\delta_t = R_{t+1} + \gamma V(S_{t+1}) - V(S_t) \qquad \theta \leftarrow \theta + \alpha_{\theta} \delta_t \nabla_{\theta} \log \pi_{\theta}(A_t \mid S_t) \qquad w \leftarrow w + \alpha_w \delta_t \nabla_w V(S_t)

Ejemplo resuelto

El crítico estima 4 en el estado actual y 5 en el siguiente, la transición entrega recompensa 1 y el descuento vale 0.9. El error temporal vale 1 más 0.9 por 5 menos 4, es decir, 1.5, de modo que la transición salió mejor de lo previsto y la probabilidad de la acción tomada sube. Si el crítico hubiese estimado 7 en el estado actual, el error valdría -1.5 y la probabilidad bajaría, aunque la recompensa siga siendo positiva. Ahí está la diferencia con REINFORCE sin línea base, que subiría la probabilidad en los dos casos. Con una tasa de 0.01 para el actor y de 0.1 para el crítico, el crítico se mueve más deprisa a propósito, ya que un crítico lento entrega ventajas mal calibradas durante demasiado tiempo.

Errores frecuentes

Dar al actor una tasa mayor que al crítico, lo que hace que la política persiga una ventaja mal estimada.
Propagar el gradiente del actor a través del crítico, cuando el error temporal debe tratarse como una constante en esa actualización.
Suprimir el término de entropía en problemas con muchas acciones, sin el cual la política se vuelve determinista antes de haber explorado.

Ejercicio

El crítico estima 2 en el estado actual y 2 en el siguiente, la recompensa vale 0 y el descuento vale 1. ¿Cuánto vale el error temporal y qué hace el actor?

Ver la solución

El error vale 0 más 1 por 2 menos 2, es decir, cero. Con error nulo, el actor no cambia la probabilidad de la acción, porque la transición salió exactamente como el crítico preveía.

Respuesta: 0, el actor no cambia