Tema

Máxima verosimilitud

Matemáticas para IA
Nivel intermedio

La estimación por máxima verosimilitud elige los parámetros que hacen más probables los datos observados.

Nombre en inglés

Maximum likelihood estimation

Intuición

Ante una moneda que salió cara siete veces de diez, la pregunta no es qué probabilidad tiene una moneda concreta de producir ese resultado, sino qué moneda lo explica mejor. La verosimilitud recorre todas las monedas posibles y se queda con la que más peso da a lo visto. Minimizar la entropía cruzada en una red de clasificación es exactamente esto mismo.

Fórmula

L(theta) = prod_i p(x_i | theta) ; log L(theta) = sum_i log p(x_i | theta)

Ejemplo resuelto

Con siete caras en diez lanzamientos, la verosimilitud vale p^7 por (1 menos p)^3. Al derivar su logaritmo se obtiene 7 dividido entre p menos 3 dividido entre (1 menos p), expresión que se anula cuando 7 por (1 menos p) es igual a 3 p, es decir cuando p vale 0.7. El estimador coincide con la proporción observada, que es el resultado general para la distribución de Bernoulli.

Errores frecuentes

Multiplicar verosimilitudes en lugar de sumar logaritmos: El producto de miles de números menores que uno se va a cero en coma flotante.
Olvidar que el estimador puede estar sesgado: La varianza por máxima verosimilitud divide entre n y subestima la dispersión real.
Confundir verosimilitud con probabilidad del parámetro: La verosimilitud es función del parámetro con los datos fijos y no integra uno, y para hablar de la probabilidad del parámetro hacen falta una distribución a priori y el enfoque bayesiano.

Ejercicio

Se observan tres éxitos en doce intentos de un experimento de Bernoulli. ¿Cuál es la estimación de máxima verosimilitud de p?

Ver la solución

Para la distribución de Bernoulli el estimador es la proporción de éxitos, es decir 3 dividido entre 12.

Respuesta: 0.25