Tema

Redes generativas antagónicas

• Aprendizaje profundo
• Nivel avanzado

Una red generativa antagónica entrena a la vez un generador que fabrica muestras y un discriminador que intenta distinguirlas de las reales, en un juego de suma cero.

Nombre en inglés

Generative adversarial networks

Intuición

El discriminador hace de crítico entrenado, de modo que el generador no necesita una medida de distancia escrita a mano sino que aprende de un juez que mejora con él. El equilibrio llega cuando el discriminador ya no distingue y responde 0.5 a todo. El riesgo es que el juego no converja, porque mejorar a uno empeora al otro y ninguno minimiza una función fija.

Fórmula

\min_G \max_D E_x[\log D(x)] + E_z[\log(1 - D(G(z)))] \qquad \text{no saturante} \quad \max_G E_z[\log D(G(z))]

Ejemplo resuelto

Supongamos que el discriminador responde 0.9 a una imagen real y 0.3 a una falsa. Su pérdida vale menos el logaritmo de 0.9 menos el logaritmo de 0.7, es decir, 0.105 más 0.357, cerca de 0.462. La pérdida no saturante del generador vale menos el logaritmo de 0.3, cerca de 1.204, y su gradiente resulta grande justo cuando el discriminador lo detecta con facilidad, que es lo que se busca. En el equilibrio, con 0.5 en ambos casos, la pérdida del discriminador vale dos veces 0.693, cerca de 1.386, y esa cifra sirve de referencia para saber si el entrenamiento sigue en pie.

Errores frecuentes

• Usar la pérdida original del generador, cuyo gradiente se desvanece justo cuando el discriminador acierta; la versión no saturante corrige ese punto.
• Entrenar el discriminador hasta la perfección antes de tocar el generador, lo que deja al generador sin señal útil.
• Juzgar el avance por las curvas de pérdida, que en un juego no descienden de forma ordenada, en lugar de mirar las muestras o una métrica como la distancia de Fréchet.

Ejercicio

El discriminador asigna 0.5 a una imagen real y 0.5 a una falsa. ¿Cuánto vale su pérdida y qué indica esa cifra?

Temas relacionados

• Autocodificadores y autocodificador variacional
• Optimizadores
• Teoría de juegos y equilibrio de Nash
• Métricas de clasificación

Cursos a los que prepara

• CS 7643 Deep Learning