Los factores que influyen en el proceso de aprendizaje del algoritmo back-
propagation
(BP) son, entre otros.
Los pesos iniciales que son normalmente inicializados de forma aleatoria,
pero existen otras posibilidades, como por ejemplo,
donde
“ki ” es el número de conexiones entre inputs y neuronas en la capa oculta.
La constante de aprendizaje, factor de gran importancia en el proceso de
convergencia, tanto en lo referente a cómo afecta su valor, como cual es el
mejor valor a utilizar en las aplicaciones.
??
Las funciones de coste, usualmente se utiliza la función cuadrática.
??
El momentum, filtrado de paso bajo (alisado) del gradiente del error.
Técnicas de optimización utilizadas, métodos de gradiente descendente,
método de
Newton, método de quasi-Newton, método de dirección
conjugada.
??Aprendizaje y generalización
??Número de neuronas en las capas ocultas.
Muchas aplicaciones requieren que las redes neuronales diseñadas respondan
a
secuencias en el tiempo de patrones, es decir, series temporales. Si
utilizamos el algoritmo de aprendizaje BP, podemos convertir una red MLP en
una red time-delay neural networks
(TDNN)
simplemente utilizando inputs o
entradas con retardos. Adicionalmente existen
otros tipos de redes feed-
forward, agrupadas con el nombre de redes polinomiales. Ejemplos
de ellas
son: las redes functional-link, que son redes con una sola capa oculta en la que
las entradas se procesan con un conjunto de funciones elegidas en función del
problema; las redes neuronales arbóreas o TNN, que utilizan pequeñas redes
MLP en cada nodo de partición para
una clasificación binaria que permita
extraer las características no lineales; las redes
neuronales Wavelet o WNN,
que son una alternativa a las redes neuronales feed-forward para
aproximarse
de forma arbitraria a funciones no lineales. Y por último, las redes GMDH
8.4. Redes Neuronales Polinomiales (PoNN): Algoritmo GMDH.
Las redes neuronales polinómicas (PoNN) utilizan el algoritmo “Group Method
of Data Handling” (GMDH). Las primeras investigaciones fueron a cargo de R.
Shankar
(1972) el cual presentó el algoritmo GMDH como un método que
permitía describir de forma
sucesiva un sistema complejo de relaciones a
partir de simples operaciones matemáticas. De
hecho, es un buen método
para solucionar problemas del estilo, identificación, predicción a corto y a largo
plazo de procesos aleatorios, reconocimiento de patrones en entornos
complejos, etc. La teoría matemática fue desarrollada de forma conjunta por
muchos investigadores, siendo su máximo exponente A.G. Ivakhnenko, hacia
los años sesenta. El contenido del algoritmo se desarrolló como vehículo para
identificar relaciones no lineales
entre inputs y outputs, generando una
estructura óptima a partir de un proceso sucesivo de
varias generaciones de
descripciones parciales de los datos, mediante la incorporación de
nuevas
capas. En cada capa se inicia con un número máximo de neuronas (definido
por
combinatoria), de forma que, mediante un proceso de selección se
determina el número de neuronas más idóneo en cada capa y así el proceso
se diferencia claramente del
back-propagation en donde todas las capas
participan simultáneamente en el proceso de aprendizaje.
Los aspectos más importantes del proceso histórico son los siguientes:
Se caracterizó por aplicaciones orientadas a establecer criterios de
regularidad para
solucionar problemas de identificación, predicción a
corto plazo, reconocimiento de
patrones, pero no se investigó la
robustez frente al ruido de los datos (1968-1971).
Se solucionó el problema de la modelización con datos incompletos o
con ruido
(1972-1975).
Fue investigado el grado de convergencia del algoritmo GMDH (1976-
1979).
??Se obtuvieron importantes resultados teóricos, proponiendo modelos
no físicos para predicciones a largo plazo, modelos en dos niveles, etc,
(1980-1988).
??Aparición de nuevos algoritmos para la modelización no paramétrica,
como por
ejemplo, “Twice-Multilayered Neural Nets” (TMNN) (1988
hasta la actualidad).
Respecto a las aplicaciones, véase tabla, son cada vez más numerosas y
relacionadas con diversos campos científicos
Tabla: Áreas de aplicación de los modelos GMDH.
El primer modelo neuronal diseñado fue “Ivakhnenko Polynomial” o
“Kolmogorov-Gabor
Polynomial”, con una topología formada por dos inputs y
un output. Dicha expresión es el
resultado de una combinación cuadrática de
los inputs generando un total de 6 ponderaciones,
cuya expresión del output
es, en este caso,
Una topología más completa incorpora capas ocultas, donde el output puede
ser expresado como un polinomio de grado 2(k -1)?, siendo “k” el número total
?
de capas en el modelo neuronal.
El proceso de estimación de los parámetros posee tres fases (véase
ilustración)
Mister Wong
Portal para Investigadores y Profesionales
