Tema

Inferencia aproximada por muestreo

IA clásica
Nivel avanzado

Cuando la inferencia exacta en una red bayesiana resulta inviable, se estiman las probabilidades generando muestras de la red, ya sea por rechazo, por ponderación de verosimilitud o por muestreo de Gibbs.

Nombre en inglés

Approximate inference by sampling

Intuición

Muestrear consiste en sustituir una suma sobre un número enorme de mundos posibles por un promedio sobre unos cuantos mundos generados al azar. El muestreo por rechazo tira todas las muestras que contradicen la evidencia y se vuelve inútil cuando la evidencia es rara. La ponderación de verosimilitud fija la evidencia y compensa con un peso, de modo que nunca desperdicia muestras. Gibbs recorre las variables no observadas remuestreando cada una condicionada a su manto de Markov.

Fórmula

peso(muestra) = prod_{e en evidencia} P(e | padres(e)).  P(x | e) estimada = suma de pesos con X = x / suma de todos los pesos

Ejemplo resuelto

En la red de gripe, fiebre y prueba, se estima P(G | R positiva) con ponderación de verosimilitud y 4 muestras. Se muestrea G de P(G) = 0.1 y se fija R en positiva con peso P(R | G). Supongamos que salen G verdadera una vez, con peso 0.8, y G falsa tres veces, con peso 0.1 cada una. La estimación vale 0.8 dividido entre 0.8 + 0.3 = 1.1, o sea 0.727. El valor exacto es 0.1 por 0.8 entre 0.1 por 0.8 más 0.9 por 0.1, o sea 0.471, y la diferencia se debe al tamaño ridículo de la muestra.

Errores frecuentes

Usar muestreo por rechazo con evidencia poco probable, ya que la fracción de muestras conservadas cae con la probabilidad de la evidencia y el estimador queda sin datos útiles.
Contar las muestras de Gibbs desde el primer paso, cuando la cadena necesita un periodo de calentamiento antes de que sus estados representen la distribución objetivo.
Tratar las muestras de Gibbs como independientes al calcular el error, error que infravalora la incertidumbre porque los estados consecutivos de la cadena están correlacionados.

Ejercicio

Con ponderación de verosimilitud se obtienen tres muestras con X verdadera y pesos 0.2, 0.3 y 0.1, y dos muestras con X falsa y pesos 0.5 y 0.4. Estima P(X verdadera | evidencia).

Ver la solución

Se suman los pesos por valor. Para X verdadera la suma es 0.2 + 0.3 + 0.1 = 0.6 y para X falsa es 0.5 + 0.4 = 0.9. El total vale 0.6 + 0.9 = 1.5. El estimador se obtiene dividiendo, o sea 0.6 entre 1.5 = 0.4. Conviene notar que el número de muestras de cada clase no importa por sí solo, porque lo que pesa es la verosimilitud acumulada.

Respuesta: 0.4