Redes Neuronales

Enviado por Jorge Antonio Delgado Palomino

Partes: 1, 2

Panorama
General
Redes
neuronales de tipo biológico
Redes
neuronales para aplicaciones concretas
Taxonomía de las redes
neuronales
Redes
neuronales supervisadas y no supervisadas
Funciones de base y activación
Estructuras de las redes neuronales
artificiales
Modelos no supervisados

Panorama General

Las Redes
Neuronales Artificiales (Artificial Neural Networks – ANNs)
se constituyeron inicialmente como
una simulación
abstracta de los sistemas
nerviosos biológicos formados por un conjunto de unidades
llamadas neuronas o nodos conectados unos con otros. Las
conexiones de estos nodos se asemejan a las dendritas y axones de
los sistemas nerviosos biológicos.

Warren McCulloch y
Walter Pitts desarrollaron en 1943 el primer modelo de
red neuronal en
términos de modelo sistemático de actividad
nerviosa. El modelo se caracteriza básicamente por ser
binario, donde cada neurona tiene
un escalón o umbral prefijado. Este primer modelo
sirvió de ejemplo para los modelos
posteriores de Jhon Von Neumann,
Marvin Minsky, FranK Rosenblatt, etc.

Las ANNs pueden
clasificarse en modelos de tipo biológico y tipo dirigido
a la aplicación de acuerdo a su similitud con la realidad
biológica:

Modelos de
Tipo
Biológico.

Se constituyen
en redes que
tratan de simular los sistemas neuronales biológicos
así como las funciones
auditivas o funciones básicas de la
visión.

Modelos
Dirigidos a
Aplicaciones.

No
necesariamente guardan similitud con los sistemas
biológicos. Sus arquitecturas están fuertemente
ligadas a las necesidades de las aplicaciones para las que son
diseñados.

REDES NEURONALES DE TIPO
BIOLÓGICO

El cerebro humano
promedio cuenta con aproximadamente mil millones de neuronas.
Asimismo, durante las sinápsis cada una de estas
neuronas recibe en promedio alrededor de 1000 estímulos
de entrada y genera alrededor de 1000 estímulos de
salida. En este sentido, la principal ventaja del cerebro
humano promedio recae en su conectividad, interpretada como la
capacidad del mismo para realizar diferentes procedimientos
lógicos a la vez. Sin embargo, su principal debilidad
recae en la velocidad de
procesamiento de la información, siendo las computadoras
en este sentido, muchísimo más
rápidas.

El objetivo de
las redes neuronales de tipo biológico se constituye en
desarrollar un elemento sintáctico que permita verificar
las hipótesis correspondientes a los
demás sistemas biológicos. Es decir, las redes
neuronales de tipo biológico deben recibir y procesar
información de otros sistemas biológicos y
devolver una respuesta de acción efectiva.

La mayor parte
de las neuronas posee una estructura
arbórea formada en su mayor parte por dendritas que,
conectadas a otras neuronas, se encargan de recibir los
estímulos de entrada neuronales mediante uniones
denominas sinopsis. Algunas neuronas tiene una estructura que
las comunica con miles de neuronas más, mientras otras
sólo puede comunicarse con unas cuantas a su alrededor.
Las tres partes importantes de la estructura de una neurona
son:

Ramas de Extensión o
Dendritas – Reciben estímulos de
Entrada.
Cuerpo de la Neurona –
Procesa estímulos de Entrada.
Axón – Emite
estímulos de Salida a las Dendritas de otras
neuronas.

Actualmente no
sé conoce con certeza la verdadera forma de interacción de las neuronas. En general,
una neurona recibe estímulos de entrada mediante las
dendritas, estos estímulos son procesados en el cuerpo
de la misma para posteriormente emitir un estímulo de
salida mediante el axón. Este último
estímulo utiliza diferencias de potencial
eléctrico u ondas de
corriente las cuales dependen fundamentalmente del potencial de
la neurona. Asimismo, la neurona utiliza la función
de escalón y la función de activación para
determinar la salida que debe emitir de acuerdo a los
estímulos recibidos.

El conocimiento que se posee sobre el sistema
nervioso es aún incompleto. En este sentido, las
ANNs no se encuentran muy ligadas a lo que son en sí
las redes neuronales biológicas. Por lo tanto, se han
definido otras funcionalidades y estructuras de conexión distintas a las
establecidas por la biología. Las principales
características de las ANNs son las
siguientes:
Auto
Organización y
Adaptabilidad
Utilizan
algoritmos
de aprendizaje
adaptativo y auto organización ofreciendo
posibilidades de un procesamiento robusto y
adaptable.
Procesado
No Lineal y Paralelo
Aumenta la
capacidad de la neurona para poder
aproximar y clasificar información haciéndose
más inmune al ruido
(datos
desordenados).
Estas
características juegan un papel importante en
las ANNs aplicadas al procesado de señales. En este sentido, la red
constituida para una aplicación determinada
poseerá una arquitectura
concreta de elementos de procesado adaptativo, masivo y
paralelo que se combinan en estructuras de
interconexión de red jerárquica.

REDES NEURONALES PARA APLICACIONES
CONCRETAS

Toda
aplicación de redes neuronales consta de dos fases: la
fase de aprendizaje o entrenamiento
y la fase de prueba o funcionamiento directo. En la fase de
entrenamiento se usa un conjunto de datos o patrones de
entrenamiento para determinar los pesos que definen el modelo
neuronal. Este modelo una vez entrenado, se usará en
la fase de funcionamiento directo en la que se
procesarán patrones de prueba que constituyen la
entrada habitual de la red con el objetivo de analizar las
prestaciones definitivas de la
misma.

Fase de
Prueba

Los pesos de
la red neuronal se han obtenido a partir de patrones
representativos de entradas que se denominan patrones de
entrenamiento. Los pesos pueden ser calculados de una vez
como adaptados iterativamente según el tipo de red
neuronal y en función de las ecuaciones
dinámicas de prueba. Una vez calculados los pesos de
la red, se compararán las salidas deseadas con
los
valores de las neuronas de la última capa para
determinar la validez del diseño.

Fase de
Aprendizaje

Una de las
características más resaltantes de las redes
neuronales es su capacidad de aprender. Éstas aprenden
por la actualización o variación de los pesos
sinápticos que caracterizan a las conexiones. Los
pesos son adaptados de acuerdo a la información
extraída de los patrones de entrenamiento nuevos que
se van presentando. Normalmente, los pesos óptimos se
obtienen de la optimización (minimización o
maximización) de alguna función de
energía.

El
entrenamiento de las redes neuronales puede realizarse fuera
de línea o en tiempo
real. La elección de cualquiera de ellos o ambos
implica velocidades de proceso
diferentes que afectas a los algoritmos y hardware
utilizados. De acuerdo al tipo de entrenamiento, las redes
neuronales pueden clasificarse en:

Fijo	No supervisado	Supervisado
Red de Hamming	Mapa de características	Basadas en decisión
Red de Hopfield	Aprendizaje competitivo	Perceptrón
		ADALINE (LMS)
		Perceptrón Multicapa
		Modelos Temporales Dinámicos
		Modelos Ocultos de Markov

TAXONOMÍA DE LAS REDES
NEURONALES
Las redes
neuronales se clasifican comúnmente en términos
de sus correspondientes algoritmos o métodos de entrenamiento: redes de
pesos fijos, redes no supervisadas, y redes de entrenamiento
supervisado. Para las redes de pesos fijos no existe
ningún tipo de entrenamiento.
REDES DE ENTRENAMIENTO
SUPERVISADO
Las redes de
entrenamiento supervisado han sido los modelos de redes
más desarrolladas desde los inicios de este tipo de
diseños. Los datos para el entrenamiento están
constituidos por varios pares de patrones de entrenamiento de
entrada y de salida. El hecho de conocer la salida implica
que el entrenamiento se beneficia de la supervisión de un maestro. Dado un
nuevo patrón de entrenamiento (m+1), los pesos
serán adaptados de la siguiente forma:
DIAGRAMA
ESQUEMÁTICO DE SISTEMA DE
ENTRENAMIENTO
REDES DE ENTRENAMIENTO NO
SUPERVISADO
Las Redes de
Entrenamiento no Supervisado utilizan datos de entrenamiento
consistentes en sólo patrones de entrada. Por lo
tanto, la red es entrenada sin el beneficio de un maestro. La
red aprende a adaptarse basada en las experiencias recogidas
de los patrones de entrenamiento anteriores.
DIAGRAMA
ESQUEMÁTICO DE SISTEMA DE ENTRENAMIENTO
La Regla de
Aprendizaje de Hebb: Refuerza el peso que conecta dos
nodos que se excitan simultáneamente.
Regla de
Aprendizaje Competitiva: Determina la factibilidad
de pertenencia de un patrón a una clase
reconocida previamente. En caso de darse esta pertenencia, la
inclusión de este nuevo patrón a la clase
reconocida cambiará al representante de la
misma.
REDES NEURONALES SUPERVISADAS Y NO
SUPERVISADAS
Una neurona
suministra un valor a su
salida que se propaga a través de la red de conexiones
unidireccionales hacia otras células de la red. Asociada a cada
conexión hay un peso sináptico denotado por
wij, que determina el efecto de la neurona
j-ésima sobre la neurona i-ésima. Las entradas
a la neurona i-ésima que provienen de las otras
neuronas son acumuladas junto con el umbral externo, para dar
el valor de red. La forma de hacerlo está determinada
matemáticamente por la función de base f
para dar un valor de activación. En este sentido, la
salida final se puede expresar como una función de la
entrada y pesos.
Las redes de
conexión son matemáticamente representadas por
la función de base u (w, x) donde w es la
matriz de
pesos y x el vector de entrada. La función de base
tiene dos formas típicas:
Función Lineal de
Base
Función
de primer orden o de tipo hiperplano. El valor de red es una
combinación lineal de las entradas.
Función de Base
Radial
Función de segundo
orden o de tipo hiperesférico. El valor de red
representa la distancia a un determinado patrón de
referencia.
FUNCIÓN DE
ACTIVACIÓN O FUNCIÓN DE NEURONA
La
función de activación se encarga de transforma
el valor de red expresado por la función de base u (w,
x). Las funciones de activación más comunes
son:
FUNCIONES DE BASE Y
ACTIVACIÓN