Mineria de datos

¿Por
qué surge la Minería de Datos?

El análisis e interpretación manual de los
datos se torna impráctico (lento, caro y subjetivo) en
la medida que los volúmenes de datos crecen
exponencialmente.

Distintos factores influyen en la acumulación de
datos:

Dispositivos de almacenamiento más
baratos.

Transacciones comerciales son almacenadas
mayoritariamente en formato electrónico.

Captura automática de actividades realizadas en
Internet.

Desarrollo de algoritmos eficientes y robustos para el
procesamiento de estos datos.

Poder computacional más barato)métodos
computacional/ intensivos para el análisis de
datos.

Ventajas comerciales y científicas

¿Qué es
la Minería de Datos (MD)?

"… proceso de extraer conocimiento útil y
comprensible, previamente desconocido, desde
grandes cantidades de datos almacenados en distintos
formatos" [Witten y Frank, 2000]

"… uso de datos históricos para descubrir
regularidades generales y mejorar las decisiones
futuras" [Mitchell, 1999]

"… proceso que tiene como objetivo convertir datos
en conocimiento" [Hernández Orallo,
2004]

"… es un paso particular en el proceso de
KDD que consiste en la aplicación de
algoritmos específicos para extraer
patrones (o modelos) desde los datos" [Fayyad,
1996]

Algunas áreas de aplicación de la
MD

Aplicaciones financieras y bancarias

Análisis de mercado, distribución y
comercio en general

Seguros y salud privada

Educación

Procesos industriales

Medicina

Biología, bioingeniería y otras
ciencias

Telecomunicaciones

Internet

Turismo, policiales, deportes, política, … y
muchas más

Aprendizaje automático (AA)

"… cualquier sistema que se considere
"inteligente" debería poseer la habilidad de
aprender, es decir mejorar automáticamente con
la experiencia." [Russell, 2002]

"… cualquier cambio en un sistema que le permite
desempeñarse mejor la próxima vez,
sobre la misma tarea u otra tomada de la misma
población"" [Herbert Simon]

"Un programa de computadora se dice que aprende
desde la experiencia E con respecto a alguna
clase de tareas T y medida de performance
P, si mejora su perfomance con las tareas en
T, con respecto a la medida P, basado
en la experiencia E" [Mitchell,
1997]

Aprendizaje automático

Algunos factores implícitos en las definiciones
de AA:

cambios en el comportamiento para lograr una mejor
performance futura.

Existencia de algún tipo de experiencia de
entrenamiento.

la componente de aprendizaje está "embebida" en
un sistema de toma de decisiones automático
que la contiene.

La componente más variable es el origen de la
experiencia de entrenamiento:

Interacción con el ambiente u otros
agentes

Interacción usuario-sistema (agentes de
interfaz)

Aprendizaje por observación o asistido por otros
agentes (consejos)

Introspección de los propios procesos
internos

Bases de datos

Aprendizaje automático versus Minería
de Datos

Algunos autores consideran que AA _ MD pero ésto
no es así.

MD toma la experiencia desde Bases de datos. AA incluye
otras formas de entrenamiento.

En MD no sólo es importante la performance sino
que se suele requerir una representación
explícita del conocimiento adquirido de manera tal
que las decisiones puedan ser explicadas. AA incluye
métodos que no son adecuados para estos fines (Neural
Networks).

En MD la elaboración de la entrada del proceso y
el análisis de la salida suele requerir una
participación humana considerable. En AA estas
responsabilidades suelen ser asignadas a otras
componentes del sistema.

MD incluye técnicas originadas en la
modelización estadística que no son propias del
AA.

Fase de
Preparación de los datos

Sub-fase de recopilación e integración de
los datos

Determinar fuentes de información útiles y
donde conseguirlas.

Coleccionar múltiples bases de datos
heterogéneas en un único repositorio con un
esquema unificado (almacén de datos o data
warehouse).

Sub-fase de selección, limpieza y
transformación

Detección de valores anómalos (no siempre
eliminados).

Tratamiento de datos faltantes (o perdidos).

Selección de atributos relevantes
(columnas).

Selección de una muestra de datos
(filas).

Construcción de nuevos atributos (agrupamiento,
numerización, discretización).

Fase de Minería de datos

1. Determinar qué tipo de tarea de MD es el
más apropiado (clasificación, agrupamiento,
etc).

2. Elegir tipo de modelo (árboles de
decisión, reglas de clasificación, Redes
Neuronales).