Ciencias de la Computación (plan 2013) 2024-2

Optativas, Seminario de Ciencias de la Computación A

En este curso nos apoyaremos en las herramientas y cursos que generósamente nos ha proporcionado DataCamp.

Seminario de Ciencias de la Computación A

Neuronas y Redes Neuronales: Modelos y Aplicaciones a la Ciencia de Datos

NEURONAS Y REDES NEURONALES: MODELOS Y APLICACIONES A LA CIENCIA DE DATOS

Objetivos

1. MODELOS Y ARQUITECTURAS. Analizar modelos y analogías electrónicas de neuronas y redes neuronales que son útiles en inteligencia artificial: se partirá del modelo biológico de Hodgkin-Huxley, para sentar las bases para los modelos electrónicos de FitzHugh-Nagumo, neuronas con osciladores controlados por voltaje, modelos de integración y disparo (spiking neurons) y modelos de McCulloch y Pitts. Se analizarán las arquitecturas de redes neuronales más útiles en Ciencia de Datos: Redes de Kohonen (útiles para descubrimiento de conocimiento), perceptrones multicapa, redes convolucionales y los transformers, que sirven de base para crear Large Language Models (LLM).

2. APRENDIZAJE. Mostrar métodos de entrenamiento de redes neuronales, tanto supervisado como no supervisado. Se revisarán: El método de descenso por gradiente (retropropagación) y diferentes métricas y algoritmos para el entrenamiento de redes SOM (Self Organizing Maps). Se discutirá el problema de sobre-entrenamiento (over fitting) y se dará acceso al sistema de software LabSOM, desarrollado en nuestro laboratorio, para hacer análisis y visualizaciones con la red neuronal SOM; se introducirá a los alumnos al uso de los sistemas de software Somoclu y Keras usando el lenguaje de programación Python, a los modelos pre-entrenados de Hugging face y Notebooks en Google Collaboratory.

3. APLICACIONES. Ilustrar la utilidad de las redes neuronales en varios dominios de aplicación de la Ciencia de Datos para, por ejemplo:

• Creación de Large Language Models (LLM)

• Solución heurística de problemas NP (e.g. Scheduling)

• Análisis de datos de:

  • Trayectorias escolares en la UNAM

  • Experimentos de Física Nuclear

  • Ranking de Universidades

  • Artículos de investigación científica (Ciencia de la Ciencia, en las bases de datos de Scopus y Web of Science) y bases de patentes (United States Patent and Trade Mark Office)

  • Sísmica de yacimientos petroleros.

Formato del Curso

Si los alumnos están de acuerdo, las clases serán grabadas. Se pondrán a disposición y podrán ser consultadas en cualquier momento. La mayor parte de las clases se impartirán sincrónicamente. ZOOM: https://cuaieed-unam.zoom.us/j/6688158241?pwd=bmdBUTl5b3VKR3hhRG5pdWpLL1NRUT09

Los alumnos deberán desarrollar un proyecto sobre algún tema del curso (durante todo el semestre) y exponer al grupo sus avances.

Los jueves se realizarán tertulias de media hora en las que se compartirá información sobre ideas y desarrollos novedosos en IA y/o Ciencia de datos.

Evaluación: Participaciones en clase (10%), tareas y prácticas de Laboratorio (20%), exposiciones (20%), desarrollo de un proyecto en equipo en temas del curso (50%). Se dará la opción de presentar exámenes en lugar de desarrollar proyecto.

Asistencia. Se tomará en cuenta la presencia y participación en las clases. Los que no cumplan con un 80% de asistencias (45 minutos mínimo en zoom) deberán acreditar su participación de alguna otra manera.

Especialistas Invitados

Se invitará a especialistas para que impartan conferencias en su área de especialidad. Algunas de los académicos considerados para este semestre son:

Dra. Úrsula X. Iturraran. Facultad de Ciencias.UNAM

Dra. Ibis Lozano Díaz. Centro de Ciencias de la Complejidad, UNAM

Dra. Tzipe Govezensky Zack. Instituto de Investigaciones Biomédicas, UNAM.

Dr. Nicandro Cruz Ramírez. Centro de Investigación en Inteligencia Artificial, Universidad Veracruzana

Dr. Javier García García. Centro de Ciencias de la Complejidad, UNAM

Dr. Jaime Vega Castro. Instituto Nacional de investigaciones Nucleares

Dr. Ricardo Arencibia Jorge. Centro de Ciencias de la Complejidad, UNAM

M. en C. Marco Rosas. Centro de Ciencias de la Complejidad, UNAM

Dr. Carlos Ordoñez. Data Science Lab, Houston University, USA.

Dr. Elio V. Atenógenes García. Director del Laboratorio de Ciencia de Datos en el Instituto Nacional de Estadística y Geografía (INEGI)

M. en C. Romel Calero Ramos. Doctorado en Ciencia de Datos, INFOTEC. Centro de Ciencias de la Complejidad, UNAM.

Software

Somoclu. Somoclu is a massively parallel implementation of self-organizing maps.https://github.com/peterwittek/somoclu

Keras.Keras is a high-level neural networks API, written in Python and capable of running on top of TensorFlow, CNTK, or Theano.

LabSOM. Herramienta computacional para el estudio del SOM, Facultad de Ciencias UNAM.. https://github.com/ldnl-unam/labsom

Modelos pre-entrenados de Hugging face. https://huggingface.co/

Bibliografía

Lewis Tunstall, Leandro von Werra, Thomas Wolf. Natural Language Processing with Transformers: Building Language Applications with Hugging Face. O'Reilly Media, Inc. SBN10: 1098103238. 2022.

Shashank Mohan Jain. Introduction to Transformers for NLP: With the Hugging Face Library and Models to Solve Problems. Apress. ISBN 10: 1484288432. 2022.

Dashun Wang, Albert-László Barabási. The Science of Science. Cambridge University Press. February 2021. Online ISBN:9781108610834. DOI: https://doi.org/10.1017/9781108610834.

Izhikevich, Eugene M. Dynamical systems in neuroscience. MIT press, 2007.

Michael Nielsen. Neural Networks and Deep Learning. http://neuralnetworksanddeeplearning.com/ 2019.

Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning. MIT Press, 2016. http://www.deeplearningbook.org/

Raul Rojas. Neural Networks - A Systematic Introduction. Springer-Verlag, Berlin, New-York, 1996. https://page.mi.fu-berlin.de/rojas/neural/

Tom M. Mitchell. Machine Learning. McGraw-Hill. 1ra. Edición 1997. Nils. J. Nilsson. Artificial Intelligence: A new synthesis. Morgan Kaufmann Publishers, Inc. San Francisco California. 1998.

Kohonen T., Self-Organizing Maps, 3ra Edición, Springer-Verlag, 2001.

Wulfram Gerstner, Werner M. Kistler, Richard Naud and Liam Paninski. Neuronal Dynamics. Cambridge University Press. https://neuronaldynamics.epfl.ch/online/index.html

Muestra de artículos del tema

Vega-Castro, J., Carrillo-Calvet, H., Jiménez-Andrade, J.L. (2020). Regularization methods vs large training sets Regularization methods vs large training sets. Proceedings of Science, 1–13. DOI: 10.22323/1.372.0028.

Villaseñor, E. A., Arencibia-Jorge, R., and Carrillo-Calvet, H. (2017) ‘Multiparametric characterization of scientometric performance profiles assisted by neural networks: a study of Mexican higher education institutions’, Scientometrics, 110/1: 77-104. https://doi.org/10.1007/s11192-016-2166-0

Ruiz-Coronel, A., Jiménez Andrade, J. L., & Carrillo-Calvet, H. (2020). National Cancer Institute scientific production scientometric analysis. Gaceta Médica de México 2020, 156(1), 4-10.

Parra-Rodríguez, L.; Reyes-Ramírez, E.; Jiménez-Andrade, J.L.; Carrillo-Calvet, H.; García-Peña, C. Self-Organizing Maps to Multidimensionally Characterize Physical Profiles in Older Adults. Int. J. Environ. Res. Public Health 2022, 19, 12412. https://doi.org/10.3390/ijerph191912412

Arencibia-Jorge, R., Vega-Almeida, R.L., Jiménez-Andrade, J.L. et al. Evolutionary stages and multidisciplinary nature of artificial intelligence research. Scientometrics 127, 5139–5158 (2022). https://doi.org/10.1007/s11192-022-04477-5

José Luis Jiménez Andrade, Ricardo Arencibia-Jorge, Miguel Robles Pérez, Julia Tagüeña, Tzipe Govezensky, Humberto Carrillo-Calvet, Rafael A. Barrio, Kimmo Kaski. Organizational changes and research performance: a multidimensional assessment. Research Evaluation 2023; en revisión.

García-Rodríguez A, Barrio RA, Govezensky T, Tagüeña J, Pérez MR, Calvet HC, Jiménez Andrade JL, Arencibia-Jorge R and Kaski K (2023) Impact of institutional organization on research productivity and multidisciplinarity. Front. Phys. 11:1161019. doi: 10.3389/fphy.2023.1161019

Self-organizing maps with cokriging porosity applied to sand-shale reservoirs using seismic. J. O. Parra, U. Iturrarán, J. S. Parra, J.L., Jiménez, and, H., Carrillo, 2015. EG, Expanded Abstract, http://dx.doi.org/10.1190/segama2015-5837952.1. páginas: 946-1950.0 SEG Technical Program Expanded Abstracts 2015, SEGEAB Editors: Robert Vincent Schneider. ISSN (online): Pages: 5634. Publisher: Society of Exploration Geophysicists. 2015.

Guzmán, MV.; Carrillo, H., Jiménez, J.L.; Villaseñor, E. Bioinformetric studies in TB vaccines researches. Chapter 22, The Art and Science of Tuberculosis Vaccines Development, Oxford University Press, primera edición: 2010, Segunda edición 2014. ISBN 978 983 45088 6. http://tbvaccines.usm.my/finlay/?q=content/chapter-34-bioinformetric-studies-tb-vaccine-research

H. Carrillo, Frank C. Hoppensteadt. Unfolding an Electronic Integrate-and-Fire Circuit. Biological Cybernetics. Volume 102, Number 1 / January, 2010.

Carrillo, H., Mendoza, M., & Ongay, F. (2004). Integrate-and-fire neurons and circle maps. WSEAS Trans Biol Biomed, 1(2), 287-293.

C. Barriga y F. Ongay, H. Carrillo. El Modelo de FitzHugh-Nagumo para el Potencial Eléctrico de una Neurona, Aportaciones Matemáticas, Ed. Sociedad Matemática Mexicana, Serie de Comunicaciones 32 (2003) 31- 49.

J. J. Vega, R. Reynoso and H. Carrillo. Effect of signal noise on the learning capability of an artificial neural network, Nuclear Instruments and Methods A (2009), doi:10.1016/j.nima.2009.04.021.

J. J. Vega, R. Reynoso, H. Carrillo Calvet, Learning limits of an artificial neural network. Revista Mexicana de Física, 54 (1) 22–29. Febrero 2008.

Millán V., Atenógenes E., Martínez de la Escalera N., Carrillo H., Informetrical Visualization of Gender Differences in College Performance: an application of ViBlioSOM. Número especial de la revista canadiense, Resources in Feminist Research, dedicado a la educación en México. 2008.

AGRADECIMIENTO A DATACAMP:

This class is supported by DataCamp, the most intuitive learning platform for data science and analytics. Learn any time, anywhere and become an expert in R, Python, SQL, and more. DataCamp’s learn-by-doing methodology combines short expert videos and hands-on-the-keyboard exercises to help learners retain knowledge. DataCamp offers 350+ courses by expert instructors on topics such as importing data, data visualization, and machine learning. They’re constantly expanding their curriculum to keep up with the latest technology trends and to provide the best learning experience for all skill levels. Join over 6 million learners around the world and close your skills gap.