Actuaría (plan 2015) 2025-1

Optativas, Seminario de Estadística II

OPTIMIZACIÓN EN APRENDIZAJE DE MÁQUINA

DESCRIPCIÓN
Este curso tiene como objetivo explorar los principios fundamentales de la optimización en aprendizaje de máquina. Durante el curso, se examinarán detalladamente los fundamentos teóricos, complementados con experimentos numéricos diseñados para fortalecer la intuición y mejorar las capacidades prácticas de los estudiantes. Un componente esencial del curso es la realización de un proyecto. En términos generales, el proyecto implica la ejecución de un experimento numérico meticuloso y la preparación de un informe detallado. Dicho informe debe incluir, al menos, las siguientes secciones: marco teórico, hipótesis, configuración experimental, resultados, conclusiones y referencias.

PREREQUISITOS
Para inscribirse en este curso, es necesario contar con una formación sólida en cálculo, álgebra lineal y probabilidad, así como con conocimientos básicos de programación en Python. Además, es altamente recomendable poseer alguna experiencia previa, aunque sea de carácter informal, con el aprendizaje de máquina.

TEMARIO
1. Introducción a la optimización en aprendizaje de máquina
> 1.1 Modelos y funciones de pérdida
> 1.2 Panorama de optimización
> 1.3 Aprendizaje como optimización
> 1.4 Modelo lineal y redes neuronales superficiales
2. Descenso del gradiente estocástico y sus variaciones
> 2.1 Descenso del gradiente
> 2.2 Descenso del gradiente estocástico
> 2.3 Versiones adaptativas y aleatorizadas
3. Optimización convexa y no-convexa
> 3.1 Garantias y tasas de convergencia
> 3.2 Panorama de optimización revisitado
> 3.3 Efecto de los hiperparámetros
> 3.4 Casos de estudio

BIBLIOGRAFÍA
[1] Goodfellow, I., Bengio, Y. and Courville, A., 2016. Deep Learning. MIT Press.
[2] Hazan, E., 2016. Introduction to Online Convex Optimization. Foundations and Trends in Optimization, 2(3-4), pp.157-325.
[3] Lee, J.D., Simchowitz, M., Jordan, M.I. and Recht, B., 2016, June. Gradient descent only converges to minimizers. In Conference on Learning Theory (pp. 1246-1257). PMLR.
[4] Mei, S., Bai, Y. and Montanari, A., 2018. The landscape of empirical risk for nonconvex losses. The Annals of Statistics, 46(6A), pp.2747-2774.
[5] Nesterov, Y., 2013. Introductory Lectures on Convex Optimization: A Basic Course (Vol. 87). Springer Science & Business Media.
[6] Safran, I. and Shamir, O., 2018, July. Spurious local minima are common in two-layer ReLU neural networks. In International Conference on Machine Learning (pp. 4433-4441). PMLR.
[7] Shalev-Shwartz, S. and Ben-David, S., 2014. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.
[8] Soltanolkotabi, M., Javanmard, A. and Lee, J.D., 2018. Theoretical insights into the optimization landscape of over-parameterized shallow neural networks. IEEE Transactions on Information Theory, 65(2), pp.742-769.

EVALUACIÓN
La evaluación consistirá de tareas cortas y un proyecto final, los cuales representarán el 60% y el 40% de la calificación final, respectivamente.

HORARIO
Favor de contactarme a través del correo electrónico mario.diaz@sigma.iimas.unam.mx