Tipos de redes neuronales (Principales arquitecturas)

Cuando hablamos de arquitecturas de redes neuronales nos referimos a la forma en que se organizan las neuronas artificiales para que trabajen en conjunto. 

Feed-Forward Neural Network

Este tipo de redes neuronales son bastante comúnes y sencillas. La primer capa es la capa de entrada y la última es la capa de salida. Las capas intermedias son conocidas como capas ocultas. Si existe más de una capa oculta se considera como una "deep" neural network. Estas redes computan una serie de transformaciones que cambian las similaridades entre casos. Por ejemplo en un reconocimiento de voz, nos permite identificar la misma palabra de voces distintas. para conseguir esto las actividades de las neuronas en cada capa son funciones no lineales de actividades de las capas superiores. 

Las Convolutional Neural Nets (CNN) son una clase de red neuronales del tipo feed forward inspirado en la cortesa visual biológica. Actualmente se usan de manera amplia en sistemas de reconocimeinto de imágenes y videos, así cómo en procesamiento de lenguaje natural. 

Recurrent Neural Network (RNN)

A estas redes neuronales se les agrega ciclos a sus conecciones de grafo. Esto es sirve para comunicar información o recordar información dentro de la red, sin embargo pueden llegar a ser complicadas de entrenar al no poder hacer las operaciones de manera completamente paralelas. Con los nuevos avances en hardware, sin embargo, el entrenamiento de este tipo de redes es completamente posible, pero si requieren días o semanas para ejecutarse.

Las RNN son biológicamente más relaistas, y también han tenido un gran auge en los últimos tiempos para tareas de secuencias, reemplazando a otros modelos como las cadenas de markov. Las aplicaciones son increíblmente diversas, pero para mencionar algunos ejemplos: reconocimiento de escritura, de voz, traducción automática, reconocimiento de imágenes, etc.

Dentro de las RNN existen toda una gama de redes que se explicarán posteriormente. Sólo por mencionar las más famosas:

  • RNN Simples
  • Memoria bidireccional asociativa
  • Redes de Elman y Jordan
  • Long Short-Term Memory (LSTM!!!!)
  • Gated Recurrent Unit (GRU!!!!)

La estructura que se muestra en la figura anterior está relacionada con el tiempo. Las RNN son equivalentes a redes neuronales muy profundas, con un estado oculto por cada paso en el tiempo, con la excepción de que usan los mismos pesos en cada paso de tiempo (pesos compartidos) y reciben entradas en a cada paso. Con esto ontienen la capacidad de recordar por un largo tiempo. 

Symmetrically connected Networks

Son cercanos a las RNN, pero sus conecciones entre ellos son simétricas, lo que quiere decir que tienen los mismos pesos en ambas direcciones. Un ejemplo son las redes de Hopfield, y son mucho más sencillas de entrenar que RNN, pero tienen serias restricciones cómo: no pueden modelar ciclos.

 

 

 

Share This