Tema
Teoría de juegos y equilibrio de Nash
- Aprendizaje por refuerzo
- Nivel avanzado
Un equilibrio de Nash es un perfil de estrategias en el que ningún jugador mejora su pago cambiando de estrategia por su cuenta, y es el concepto de solución que sustituye a la política óptima cuando hay varios agentes.
Nombre en inglés
Game theory and Nash equilibrium
Intuición
Con un solo agente existe una política óptima, mientras que con varios lo mejor para cada uno depende de lo que hagan los demás, de modo que la noción de mejor deja de tener sentido aislada. El equilibrio describe un punto estable frente a desviaciones individuales, no necesariamente bueno para el grupo. El dilema del prisionero lo muestra bien, ya que su único equilibrio en estrategias puras resulta peor para ambos que la cooperación.
Fórmula
\forall i \quad u_i(\sigma_i^{*}, \sigma_{-i}^{*}) \ge u_i(\sigma_i, \sigma_{-i}^{*})
Ejemplo resuelto
En el dilema del prisionero con pagos en años de condena evitados, cooperar los dos da 3 a cada uno, cooperar frente a delatar da 0 al que coopera y 5 al que delata, y delatar los dos da 1 a cada uno. Si el otro coopera, delatar da 5 frente a 3; si el otro delata, delatar da 1 frente a 0. Delatar gana en los dos casos, de modo que el único equilibrio en estrategias puras es delatar los dos, con pago 1 para cada uno, peor que el 3 de la cooperación. En cambio, el juego de emparejar monedas no tiene equilibrio en estrategias puras y su único equilibrio mezcla ambas acciones con probabilidad 0.5, resultado que ilustra por qué las políticas estocásticas son necesarias con varios agentes.
Errores frecuentes
- Confundir el equilibrio de Nash con el óptimo social, cuando el dilema del prisionero demuestra que pueden no coincidir.
- Buscar un equilibrio en estrategias puras y concluir que el juego no tiene ninguno, ya que todo juego finito tiene al menos uno en estrategias mixtas.
- Aplicar Q-learning por separado a cada agente y esperar convergencia, cuando el entorno de cada uno deja de ser estacionario en cuanto los demás aprenden.
Ejercicio
En un juego de dos acciones por jugador, la acción A da al primer jugador 4 si el rival juega A y 2 si juega B, mientras que la acción B le da 3 y 1. ¿Tiene el primer jugador una estrategia dominante?
Ver la solución
Se comparan los pagos acción por acción del rival. Frente a A, la opción A da 4 frente a 3; frente a B, la opción A da 2 frente a 1. La acción A gana en los dos casos, de modo que es una estrategia dominante y el primer jugador la jugará sin importar lo que haga el rival.
Respuesta: sí, la acción A