Tema

Análisis de componentes principales

Machine Learning
Nivel intermedio
Con simulador interactivo

El análisis de componentes principales busca las direcciones ortogonales que concentran la mayor varianza de los datos centrados, que resultan ser los autovectores de la matriz de covarianza ordenados por su autovalor.

Nombre en inglés

Principal component analysis

Intuición

Conviene imaginar una nube de puntos alargada y una linterna que proyecta su sombra sobre una pared. La primera componente es la orientación de la pared que produce la sombra más extendida, o sea la que pierde menos información. Maximizar la varianza proyectada y minimizar el error de reconstrucción resultan ser el mismo problema, lo que explica por qué las mismas direcciones sirven para visualizar y para comprimir.

Fórmula

Sigma = (1 / n) X_c^T X_c;  Sigma v_k = lambda_k v_k;  varianza explicada por k = lambda_k / sum_j lambda_j

Ejemplo resuelto

Una matriz de covarianza de tres variables tiene autovalores 8, 1.5 y 0.5, que suman 10. La primera componente explica 8 dividido entre 10 = 0.80 de la varianza y las dos primeras explican 9.5 entre 10 = 0.95. Quedarse con dos componentes reduce la dimensión en un tercio y pierde el 5 por ciento de la varianza. La tercera dirección, con autovalor 0.5, describe una banda tan estrecha que en la práctica se confunde con el ruido de medición.

Errores frecuentes

Aplicarlo sin centrar los datos, error que convierte la primera componente en la dirección que apunta hacia la media y desperdicia el análisis.
Olvidar estandarizar cuando las variables tienen unidades distintas, ya que la covarianza premia a la variable con la escala más grande y la primera componente acaba siendo esa variable.
Interpretar las componentes como factores con significado propio, cuando son combinaciones lineales elegidas por un criterio de varianza y su signo y su orden carecen de contenido causal.

Ejercicio

Los autovalores de la matriz de covarianza valen 6, 3 y 1. Calcula la varianza explicada por las dos primeras componentes.

Ver la solución

La suma de autovalores vale 6 + 3 + 1 = 10, y esa suma es la varianza total de los datos. Las dos primeras componentes acumulan 6 + 3 = 9. La proporción explicada vale 9 dividido entre 10 = 0.90, o sea el 90 por ciento. Conviene notar que la caída del autovalor de 3 a 1 marca un codo, y ese codo es el criterio habitual para decidir cuántas componentes conservar.