Tema

Agentes y entornos

IA clásica
Nivel base

Un agente racional elige en cada instante la acción que maximiza el valor esperado de su medida de rendimiento, dadas las percepciones recibidas hasta ese momento y el conocimiento que tiene del entorno.

Nombre en inglés

Agents and environments

Intuición

Conviene ver al agente como una función que convierte una historia de percepciones en una acción. La dificultad no la pone el agente sino el entorno, porque un mundo totalmente observable, determinista y discreto se resuelve con una tabla, mientras que en cuanto aparece ruido o información oculta hace falta mantener una creencia sobre el estado. Las cinco dimensiones del entorno (observabilidad, determinismo, número de agentes, dinámica y granularidad) predicen qué técnica del curso toca aplicar.

Fórmula

a_t = argmax_a  sum_{s'} P(s' | p_{1:t}, a) U(s')

Ejemplo resuelto

Una aspiradora vive en dos casillas, A y B, y cada una puede estar sucia o limpia. La medida de rendimiento suma 1 punto por cada casilla limpia al final de cada uno de 4 pasos. Con el estado inicial A sucia y B sucia, el agente que aspira si la casilla está sucia y se mueve si está limpia obtiene 1 punto tras el paso 1 (aspira A y B sigue sucia), 1 tras el paso 2 (se mueve a B), 2 tras el paso 3 (aspira B) y 2 tras el paso 4, o sea 6 puntos. El agente que se mueve siempre sin aspirar obtiene 0 puntos. La comparación se hace sobre la medida de rendimiento, nunca sobre lo listo que parezca el agente.

Errores frecuentes

Confundir racionalidad con omnisciencia, porque el agente racional maximiza el valor esperado con la información que tiene y puede tomar la mejor decisión y aun así obtener un mal resultado.
Aplicar un agente reflejo simple a un entorno parcialmente observable, ya que sin memoria del estado el agente entra en bucles que la tabla de percepción y acción no puede distinguir.
Definir la medida de rendimiento sobre el comportamiento del agente en lugar de sobre el estado del entorno, lo que premia acciones vistosas y no resultados.

Ejercicio

Un robot aspirador con cámara borrosa limpia una casa con una mascota que ensucia sola. Clasifica el entorno en las cinco dimensiones habituales.

Ver la solución

La cámara borrosa impide ver el estado completo, de modo que el entorno es parcialmente observable. El resultado de aspirar no siempre deja la casilla limpia, así que es estocástico. La mascota ensucia mientras el robot decide, luego es dinámico. Solo actúa un agente que optimiza, por lo que es de agente único. Las posiciones y los niveles de suciedad se miden en escala fina y continua. El conjunto lleva directo a un filtro de creencia, no a una tabla de reglas.

Respuesta: Parcialmente observable, estocástico, dinámico, de agente único y continuo.