Ciencias de la Computación (plan 2013) 2023-1

Optativas, Redes Neuronales

Objetivo del curso:

El curso comprenderá el modelo matemático de la red neuronal que da pie a las redes neuronales artificiales y su generalización. Se revisarán los temas más prominentes sobre redes neuronales: su modelación, el concepto de arquitectura y el proceso de aprendizaje que conllevan. Asimismo, se profundizará en algoritmos específicos de la familia de redes neuronales, como es el Perceptrón, las redes FeedForward, las redes recurrentes, entre otras. Dentro de esto, se buscará comprender los diferentes problemas que corresponden a cada uno de estos modelos (problemas secuenciales, de clasificación, de regresión, de estimación probabilística). También se profundizará en la implementación de las redes neuronales, tanto la programación de los módulos básicos, como el uso de paquetería especializada en estos (tensorflow, pytorch). Además de los algoritmos típicos dentro de la familia de redes neuronales, se impulsará la creación de nuevas arquitecturas que respondan a problemas específicos. Se abordará también la teoría de aprendizaje geométrico profundo que plantea un marco matemático para el planteamiento de diferentes arquitecturas a problemas estructurados.

Las ayudantías (dias lunes y miércoles) se llevarán a cabo de forma virtual.

Calificación

La calificación se llevará a cabo de la siguiente forma:

Temario

1. Introducción

• 1.1 Panorama histórico de las redes neuronales
• 1.2. Justificación del uso de redes neuronales
• 1.3. Modelo biológico de la neurona
• 1.4. Definición provisional de red neuronal

2. Teoría de aprendizaje estadístico

• 2.1. Definición de aprendizaje
• 2.2.Aprendizaje supervisado, no supervisado, por refuerzo
• 2.3. Modelos generativos y discriminativos
• 2.4. Entrenamiento y evaluación
• 2.5. Ejemplo: Regresión lineal

3. Perceptrón

• 3.1. Definición del perceptrón
• 3.2. Regla de aprendizaje en el perceptrón
• 3.3. Teorema de convergencia
• 3.4. Funciones lógicas y límites del perceptrón

4. Redes FeedForward

• 4.1. Capas ocultas en las redes neuronales
• 4.2. Funciones de activación
• 4.3. Teoremas del aproximador universal
• 4.4. Complejidad de redes FeedForward
• 4.5. Redes profundas

5. Aprendizaje en redes multicapa

• 5.1. Problema de aprendizaje en redes multi-capa
• 5.2. Gradiente descendiente
• 5.3. Otros optimizadores (Adagrad, Adam, RMSProp,...)
• 5.4. Backpropagation
• 5.5. Aceleración del entrenamiento mediante GPU
• 5.6. Métodos de regularización (Tychonoff, Dropout)

6. Redes neuronales recurrentes

• 6.1. Capas recurrentes
• 6.2. Backpropagation Through Time
• 6.3. Tipos de redes recurrentes
• 6.4. Redes bidireccionales
• 6.5. Long-Short Term Memory (LSTM) y Gated Recurrent Unit (GRU)

7. Redes neuronales no supervisadas

• 7.1. Máquinas de Boltzman
• 7.2. AutoEncoders

8. Redes generativas adversariales (GANs)

• 8.3. Redes generativas
• 8.4. Redes generativas adversariales

9. Aprendizaje geométrico profundo

• 9.1. Estructura y grupo de simetrías
• 9.2. DeepSets
• 9.3. Redes convolucionales
• 9.4. Redes atencionales (Transformers)
• 9.5. Redes neuronales de gráficas

Bibliografía

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press. https://www.deeplearningbook.org/

Haykin, S. (2009). Neural networks and learning machines. Pearson Education India.

Leijnen, S., & Veen, F. V. (2020). The neural network zoo. Multidisciplinary Digital Publishing Institute Proceedings, 47(1), 9.

Ruder, S. (2016). An overview of gradient descent optimization algorithms. arXiv preprint arXiv:1609.04747.

Bronstein, M. M., Bruna, J., Cohen, T., & Veličković, P. (2021). Geometric deep learning: Grids, groups, graphs, geodesics, and gauges. arXiv preprint arXiv:2104.13478.

Herramientas de programación

• Python
• Pytorch
• TensorFlow
• Pytroch-Geometric

Github: https://github.com/VMijangos/Redes_Neuronales

Classroom: https://classroom.google.com/c/NTM4NzA4NDM1ODM2?cjc=kygcfnr