Tema
Componentes independientes y proyecciones aleatorias
- Machine Learning
- Nivel avanzado
El análisis de componentes independientes busca una transformación lineal cuyas salidas sean estadísticamente independientes y lo más alejadas posible de la campana de Gauss, mientras que una proyección aleatoria reduce la dimensión multiplicando por una matriz de números aleatorios que conserva las distancias con error acotado.
Nombre en inglés
Independent components and random projections
Intuición
El análisis de componentes principales busca direcciones no correlacionadas y el de componentes independientes busca algo más fuerte, direcciones que no compartan ninguna información. El ejemplo clásico es la fiesta con varios micrófonos y varias voces mezcladas, donde cada voz es una fuente independiente. Las proyecciones aleatorias van por otro camino, porque renuncian a buscar la mejor dirección y aprovechan que en dimensión alta casi cualquier dirección conserva las distancias razonablemente bien.
Fórmula
ICA busca W tal que s = W x tenga componentes independientes; proyeccion aleatoria necesita k del orden de ln(n) / eps^2
Ejemplo resuelto
Tres micrófonos graban a tres personas hablando a la vez en la misma sala. Cada grabación es una mezcla lineal distinta de las tres voces, de modo que hay 3 mezclas y 3 fuentes. El análisis de componentes independientes recupera las voces salvo por el orden en que aparecen y por un factor de escala en cada una, ambigüedades que el método no puede resolver. Con 10000 puntos y un error admisible de 0.5, una proyección aleatoria necesita del orden de ln(10000) dividido entre 0.25, o sea unas 37 dimensiones, sin importar cuántas tuvieran los datos originales.
Errores frecuentes
- Aplicar componentes independientes a fuentes gaussianas, caso en el que el problema queda indeterminado porque cualquier rotación de variables gaussianas independientes vuelve a ser gaussiana e independiente.
- Dar significado al orden o a la amplitud de las componentes recuperadas, cuando el método las deja sin definir y una componente puede aparecer invertida de signo.
- Olvidar fijar la semilla del generador aleatorio en una proyección aleatoria, con lo que dos ejecuciones producen representaciones distintas y los resultados dejan de ser reproducibles.
Ejercicio
Indica qué método conviene para separar dos señales mezcladas por dos sensores y qué método conviene para bajar de 5000 a 300 dimensiones antes de agrupar, y explica por qué.
Ver la solución
La separación de señales mezcladas pide componentes independientes, ya que el objetivo es recuperar fuentes que se generaron de forma independiente y solo la no gaussianidad permite deshacer la mezcla. La reducción de 5000 a 300 dimensiones antes de agrupar admite una proyección aleatoria, porque conserva las distancias con error acotado, cuesta una sola multiplicación de matrices y no exige calcular ninguna covarianza de tamaño 5000 por 5000.
Respuesta: Componentes independientes para separar y proyección aleatoria para reducir.
Temas relacionados
- Análisis de componentes principales
- Agrupamiento por k medias
- Normas y distancias
- Matrices y transformaciones lineales