Curso introductorio (en español) al área de aprendizaje basado en redes neuronales profundas, comúnmente conocida como Deep Learning. Durante el curso aprenderán la teoría detrás de los modelos de Deep Learning, su funcionamiento y usos posibles. Serán capaces de construir y entrenar modelos para resolver problemas reales.

• Profesor: Jorge Pérez
• Auxiliares: Gabriel Chaperon, Ho Jin Kang, Juan-Pablo Silva, Mauricio Romero, Jesús Pérez-Martín
• Versiones anteriores del curso: Otoño 2018, Primavera 2019

• Calendario del curso
• YouTube playlist
• Tareas

• Una cuenta de Google para usar Google Collaboratory, o
• Tener instalados los siguientes paquetes de Python:
  1. PyTorch
  2. Numpy
  3. Jupyter Notebook

Introducción, IA vs ML vs DL, ¿Por qué DL ahora? (video)

• Perceptrón, funciones de activación, y representación matricial (video)
• UAT, Redes Feed-Forward, y función de salida (softmax) (video)
• Descenso de Gradiente para encontrar los parámetros de una red (video)
• Grafos de computación y el algoritmo de BackPropagation (video1, video2)
• Tensores, Notación de Einstein, y Regla de la Cadena Tensorial (video)
• Entropía Cruzada y Backpropagation a mano con Tensores (video)
• Aspectos prácticos de entrenamiento y Red FF a mano en pytorch (video)

Readings: Chapter 2. Lineal Algebra, Chapter 3. Probability and Information Theory, Chapter 6. Deep Feedforward Networks

• Generalización, Test-Dev-Train set y Regularización (video)
• Ensemble, Dropout, y Desvanecimiento de Gradiente (video)
• Inicialización de parámetros y Normalización (video)
• Algoritmos de Optimización, SGD con Momentum, RMSProp, Adam (video)

Readings: Chapter 7. Regularization for Deep Learning, Chapter 8. Optimization for Training DeepModels, Chapter 11. Practical Methodology

• Introducción a Redes Convolucionales (video)
• Arquitecturas más conocidas: AlexNet, VGG, GoogLeNet, ResNet, DenseNet (video1, video2, video3)

Readings: Chapter 9. Convolutional Networks, Chapter 12. Applications

• Introducción a Redes Recurrentes (video)
• Arquitectura de Redes Recurrentes (video)
• Auto-regresión, Language Modelling, y Arquitecturas Seq-to-Seq (video)
• RNNs con Compuertas y Celdas de Memoria: GRU y LSTM (video)

Readings: Chapter 10. Sequence Modeling: Recurrentand Recursive Nets, Chapter 12. Applications

• Atención Neuronal (video)
• Transformers (video)
• Variational Autoencoders
• Generative Adversarial Networks
• Neural Turing Machine (NeuralTM)
• Differentiable Neural Computers (DNC)

Readings: Chapter 14. Autoencoders, Chapter 20. Deep Generative Models

No hay ningún libro de texto obligatorio para el curso. Algunas conferencias incluirán lecturas sugeridas de "Deep Learning" de Ian Goodfellow, Yoshua Bengio, and Aaron Courville; sin embargo, no es necesario comprar una copia, ya que está disponible de forma gratuita en línea.

1. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville (bibliografía fundamental del curso)
2. Dive into Deep Learning by Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola
3. Deep Learning for Vision Systems by Mohamed Elgendy
4. Probabilistic and Statistical Models for Outlier Detection by Charu Aggarwal
5. Speech and Language Processing by Daniel Jurafsky and James Martin
6. Notes on Deep Learning for NLP by Antoine J.-P. Tixier
7. AutoML: Methods, Systems, Challenges edited by Frank Hutter, Lars Kotthoff, and Joaquin Vanschoren

1. Quickstart tutorial numpy
2. DeepLearning con PyTorch en 60 minutos

1. Introduction to Deep Learning
2. Deep learning course on Coursera by Andrew Ng
3. CS231n course by Stanford University
4. Courses by fast.ai

1. Visualizing and Understanding Recurrent Networks
2. More on Transformers: BERT and Friends by Jorge Pérez
3. Atención neuronal y el transformer by Jorge Pérez

1. How To Improve Deep Learning Performance
2. An Overview of ResNet and its Variants
3. CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more
4. Understanding LSTM Networks
5. Attention Is All You Need
6. Attention is all you need explained
7. BERT exaplained