Algoritmos discriminativos y generativos de aprendizaje

Una pregunta que siempre nos planteamos en aprendizaje automático (machine learning) es la diferencia entre algoritmos discriminativos y generativos y cuál escoger para un problema concreto.

Los algoritmos discriminativos modelan la dependencia de una variable objetivo Y  en función de una variable observada X.  De esta forma se puede predecir la variable Y  a partir de X. En función de si nuestro modelo es probabilístico o no, tendremos:

  • Algoritmos que aprenden la distribución de probabilidad condicional P(Y/X). Por ejemplo la regresión logística donde se modela la probabilidad de un evento en función de las variables independientes.
  • Algoritmos no probabilísticos donde se aprende un mapeo o función directa desde las variables de entrada a las clases o variables objetivo.

Los algoritmos generativos, en cambio, proporcionan un modelo de cómo los datos se generan. Aprenden la distribución de probabilidad conjunta P(X,Y). Una vez que se tiene el modelo de cómo se generan los datos, se pregunta qué clase o valor de la variable objetivo los ha generado.

Equivalentemente, el algoritmo generativo modela la distribución P(X/Y) y P(Y). Por ejemplo si la variable Y indica clases de animales, entonces la distribución P(X/Y) modela como se distribuyen las características (datos de entrada) de cada tipo de animal.

Esto es muy importante porque los algoritmos generativos abordan un problema más general y aprenden realmente como se estructuran y distribuyen los datos de entrada mientras que los discriminativos simplemente aprenden a categorizar una variable objetivo en función de la entrada.

Debido a que el algoritmo generativo hace más suposiciones sobre la estructura del modelo, es normal que cuando se tienen pocos datos de entrenamiento el algoritmo generativo se comporte mejor pero a medida que crece el conjunto de datos de entrenamiento este comportamiento se invierta, como demostraron Andrew Ng y Michael Jordan en una comparativa del “Naive Bayes” frente a la regresión logística.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

Blog de WordPress.com.

Subir ↑

A %d blogueros les gusta esto: