Física (plan 2002) 2022-2

Optativas, Temas Selectos de Física Computacional II

Las clases se imparten los días miércoles de 15:00 a 18:00, por medio de zoom.

En total son 15 clases durante el semestre, con un total de 45 horas.

Cada clase tiene una duración de 3 horas, incluyendo teoría y ejercicios.

A cada clase se le asocia:

a) Una presentación en PowerPoint, que se expondrá en 30 minutos.

b) Una “Notebook” de Jupyter, documentada y con el código funcionando.
La acompañan los archivos de datos.

c) Una carpeta con la correspondiente bibliografía; principalmente artículos científicos.

Todas las clases se transmiten en vivo vía YouTube y se guardan para que las puedan consultar cuando así lo requieran.
Las dudas se atienden durante la clase, por correo electrónico, classroom o WA.


Evaluación

• Tareas 50%
• Proyecto Final 40%
• Participación 10%

La participación se toma en cuenta en las clases por lo que es necesaria la asistencia.

Temario

1. Inteligencia Artificial

1.1 Cuantificación del conocimiento.

1. Consecuencias del desarrollo al conocer las leyes fundamentales.

1.1. Porqué aprender sobre inteligencia artificial.

a. Física

b. Química

c. Visión

d. Medicina

e. Robótica

f. Arte

g. Música

h. Lingüística

j. Servicios

A. Uso de Internet

B. Venta de productos

C. Entretenimiento

1.2 Infraestructura para el curso.

a. Sistema operativo: Linux.

b. Plataforma para computo interactivo: Jupyter Notebook.

c. Lenguaje de programación: Python, Numba, RAPIDS

d. Hardware: CPU, GPU, TPU (Tensor Processing Unit).

e. Python básico

A. Tipos de valores, operaciones y conversiones.

B. Listas, diccionarios, arreglos.

C. Iteraciones, ordenamiento de elementos.

D. Funciones.

E. Pandas.

2. Representación de un problema con variables cuantificables.

1. Generación de datos asociados al problema.
2. Funciones que correlacionan los datos.

2.1.1. Tipo de funciones:

1. Polinomiales.
2. Lorenzianas, Gaussianas,
3. Redes Neuronales artificiales.
4. Maquina de soporte vectorial.
5. Bosques aleatorios

2.1.2. Métodos para ajustar una función a los datos.

a. Newton-Rapson.

b. Gauss-Legendre.

c. Gradiente Descendente (Cauchy).

e. Levenberg-Marquardt.

f. Kalman.

2.3 Cuaderno de trabajo (jupyter notebook) para ajustar funciones a un conjunto de datos.

3. Transición del ajuste de datos a la inteligencia artificial.

3.1 Métrica para realizar el ajuste de datos con funciones.

3.2 División de los datos para realizar y verificar el ajuste (validación-cruzada).

3.3 Inferencias empleando el ajuste.

3.4 Cambio de nomenclatura: de la empleada en el ajuste de datos a la empleada en inteligencia artificial.

3.5 Construcción de un primer sistema de aprendizaje (Learning Machine).

3.6 Cuaderno de trabajo para ajustar funciones a un conjunto de datos. Se amplian los criterios de análisis del ajuste. Se incluye un primer modelo de aprendizaje en inteligencia artificial.

4. Construcción de un sistema simple de aprendizaje, sistema multidimensional

4.1 Construcción empleando relaciones lineales entre las variables.

4.3 Construcción empleando relaciones no-lineales entre las variables.

4.4 Construcción empleando redes neuronales.

4.5 Cuaderno de trabajo para construir modelos de aprendizaje simples.

5. Códigos para generar sistemas de aprendizaje

5.1 Frameworks abiertos (libres)

a) Keras

b) Trax

c) TensorFlow

d) PyTorch

e) Scikit-Learn

f) MXNet

5.2 Frameworks comerciales

a) Azure Machine Leaning Studio

b) IBM Watson

c) AWS ML

5.3 Cuaderno de trabajo para predecir la evolución de la diabetes en el tiempo.

6. Construcción de sistemas de aprendizaje (Machine Learning y Deep Learning).

1. Aprendizaje supervisado.
2. Aprendizaje no supervisado.

6.3 Redes Neuronales: Generalidades.

1. Redes neuronales unidireccionales totalmente conectadas (FFN).
2. Redes neuronales de convolución.
3. Redes neuronales recurrentes.
4. Redes neuronales de base radial.

6.4 Cuaderno de trabajo sobre aprendizaje no supervisado

7. Métricas para el aprendizaje con redes neuronales.

1. Métrica empleada en regresión lineal.
2. Clasificación: métrica empleada.
3. Clasificación: métrica para clases no uniformes,
4. Cuaderno de trabajo con diferentes arquitecturas de la red neuronal

8. Algoritmos de aprendizaje de las redes neuronales.

1. Gradiente descendiente.
2. Gradiente descendiente estocástico.
3. Propagación inversa.
4. Cuaderno de trabajo sobre clasificación de dígitos

9. Modelo con excesos de parámetros en la red.

1. Regularización. Eliminación aleatoria de neuronas.
2. Escalamiento de datos previo a su activación.
3. Aumento de datos.
4. Cuaderno de trabajo sobre la clasificación de objetos en imágenes

10. Redes neuronales de convolución

10.1 Filtros.

10.2 Capa de convolución.

10.3 Capa de escalamiento.

10.3 Capa de activación.

10.4 Capa de agrupamiento.

10.5 Capa densa.

10.6 Cuaderno de trabajo sobre clasificación de objetos en imágenes empleando redes neuronales de convolución

11. Diferentes arquitecturas de redes neuronales de convolució.

1. LeNet.
2. AlexNet.
3. ResNet.
4. U-Net
5. Cuaderno de trabajo sobre clasificación de dígitos empleando LeNet
6. Cuaderno de trabajo sobre clasificación de objeto en imágnes empleando AlexNet.

12. Determinación de estructuras cristalinas empleando difracción de rayos X de polvos y redes neuronales.

1. Rasgos que definen un patrón de difracción de rayos X.
2. Definición de la arquitectura de la red neuronal.
3. Generación de las muestras para alimentar la red.
4. Entrenamiento de la red neuronal.
5. Optimización de los hyperparámetros.
6. Inferencia para determinar la estructura cristalina de una fase.
7. Cuaderno de trabajo para determinar estructuras cristalinas empleando redes neuronales de convolución.

13. Potencial de interacción entre átomos generado con redes neuronales

14.1 Rasgos que definen a un conjunto de átomos: cristal, cúmulo atómico.

14.2 Generación de las muestras para alimentar la red

14.3 Generación del modelo de red neuronal.

14.4 Cuaderno de trabajo para generar potenciales de interacción con redes neuronales.

14. Generación de un potencial de interacción entre átomos empleando inteligencia artificial y grafos.

14.1 Generación del modelo de aprendizaje basado en grafos.

14.2 Cuaderno de trabajo para generar potenciales de interacción entre átomos empleando una arquitectura del sistema de aprendizaje basado en grafos.

15. Predicción de nuevos compuestos con estructura cristalina de perovskita

1. Seleccionar de la base de datos los compuestos que tengan una estructura cristalina del tipo perovskita, y un número igual que no la tengan.
2. Rasgos que definen a una estructura cristalina.
3. Definición de la arquitectura de la red neuronal.
4. Generación de las muestras para alimentar la red.
5. Entrenamiento de la red neuronal.
6. Optimización de los hyperparámetros.
7. Inferencia para inferir nuevos compuestos con estructura del tipo perovskita.
8. Cuaderno de trabajo para la predicción de nuevos compuestos con estructura cristalina de perovskita.

Descripción del Tema

Las técnicas de inteligencia artificial han sido aplicadas con éxito en muchas áreas relacionadas con imágenes. Por ejemplo: en medicina, en geología, en robótica y en aparatos autónomos. Así como en áreas de venta de servicios como los que ofrecen Google, Netflix, Amazon, entre otros.

Estas mismas técnicas han empezado a aplicarse en Física, en Química y en la Ciencia de los Materiales.

El curso tiene dos secciones. En la primera sección, se dan todos los elementos para entender las técnicas de inteligencia que se van a usar en las aplicaciones, con un énfasis especial en redes neuronales artificiales. En la segunda sección, se aplicarán estas técnicas a tres problemas diferentes de la física.

Primera aplicación.

Determinación de campos de fuerzas con redes neuronales artificiales. Se parte de un conjunto de miles de distribuciones atómicas (cristalinas, nanocristalinas o amorfas) de un compuesto determinado.

Se calcula la energía total de cada miembro de este conjunto empleando técnicas de mecánica cuántica, por ejemplo, la teoría de funcionales de la densidad.

Se alimenta a la red neuronal con estos cálculos, para que “aprenda”.

Una vez que la red ha sido entrenada, se genera una función que nos permite calcular la energía de una nueva distribución de átomos (del mismo sistema en el que se hicieron los cálculos) y también las fuerzas en cada uno de los átomos.

Esto nos permite hacer cálculos de dinámica molecular (de este sistema) para tiempos grandes y también para distribuciones con un número mucho mayor de átomos que los empleados en los cálculos realizados con mecánica cuántica. Por ejemplo, el número de átomos en los cálculos de mecánica cuántica será menor o mucho menor a 1000, mientras que empleando los resultados de las redes neuronales el cálculo se puede realizar para millones de átomos.

La precisión de los cálculos generados con las redes neuronales tiene la misma precisión que la obtenida con los cálculos realizados con mecánica cuántica.

Esta misma aplicación se resuelve empleando grafos para representar la distribución atómica.

Segunda aplicación

Se entrenará una red neuronal artificial con información de patrones de difracción de rayos X de polvos y la correspondiente cristalografía de decenas de miles de compuestos cristalinos.

Una vez entrenada la red. Se le proporcionará el patrón de difracción de rayos X de polvos de una fase nueva, desconocida. La red, entonces, proporcionará la posible cristalografía de la nueva fase.

Asimiladas estas aplicaciones, los alumnos tendrás las bases para pensar en nuevas aplicaciones de las técnicas de inteligencia artificial para resolver problemas relacionados con la física.

Tercera aplicación

El propósito de esta aplicación de descubrir nuevos compuestos con una estructura cristalina del tipo perovskita. Se parte de una base de datos con la cristalografía de miles de compuestos, de los cuales se seleccionan aquellos que tienen una estructura cristalina del tipo perovskita, y un conjunto de igual número pero que no tenga una estructura cristalina del tipo perovskita. Se proponen como rasgos para describir los compuestos, varias relaciones entre los tamaños de los radios atómicos, su valencia, y su orden atómico local. Como variable objetivo (clases) es perovskita o no perovskita.

Una vez entrenado el sistema de aprendizaje, se alimenta este con un conjunto de átomos para predecir si estos formarán o no una estructura cristalina del tipo perovskita.

Literatura

“Role of Big Data and Machine Learning in Diagnostic Decision Support in Radiology”, Tanveer Syeda-Mahmood, J. Am. Coll. Radiol. 15, 569-576 (2018).

“Multi-scale gradual integration CNN for false positive reduction in pulmonary nodule detection”, Bum-Chae Kim, Jee Seok Yoon, Jun-Sik Choi, y Heung-IlSuk, Neural Networks 115, 1-10 (2019).

“Generalized Neural-Network Representation of High-Dimensional Potential-Energy Surfaces”, Jörg Behler and Michele Parrinello, Phys. Rev. Lett. 98, 146401 (2007).

“An implementation of artificial neural-network potentials for atomistic materials simulations: Performance for TiO”, Nongnuch Artrith y Alexander Urban, Computational Materials Science 114, 135-150 (2016).

“Parallel Multistream Training of High-Dimensional Neural Network Potentials”, Andreas Singraber, Tobias Morawietz, Jörg Behler, y Christoph Dellago, J. Chem Theory and Comp. 15, 3075-3092 (1919).

“Rationalizing Perovskite Data for Machine Learning and Materials Design”, Qichen Xu, Zhenzhu Li, Miao Liu, y Wan-Jian Yin, J. Phys. Chem. Lett. 9, 6948-6954 (2018).

“Classification of crystal structure using a convolutional neural network”, Woon Bae Park, Jiyong Chung, Jaeyoung Jung, Keemin Sohn, Satendra Pal, Singh, Myoungho Pyo, Namsoo Shind, y Kee-Sun Sohn, IUCrJ 4, 486–494 (2017).

“Insightful classification of crystal structures using deep learning”, Angelo Ziletti, Devinder Kumar, Matthias Scheffler, y Luca M. Ghiringhelli, nature communications 9, 2775 (2018).

“Python Machine Learning”, Sebastian Rashka y Vahid Mirjalili, Pack Publishing, Birmingham 2017, 2nd edition.

“Hands-on Machine Learning with Scikit-Learn, Keras, & TensorFlow”, Aurélien Géron, O’Reilly, Beigin, NY, 2^nd. edition, 2019.

“Artificial Intelligence: a modern approach”, S. Russell and Peter Norvig, Pearson, Fourth edition, 2021.

“Neural Networks and Deep Learning”, Michael A. Nielsen, Determination Press, 2015. Online book. Libro en linea disponible en: http://neuralnetworksanddeeplearning.com

La inteligencia artificial ayuda al control de la pandemia asociada a la Covid-19

URL: https://www.coe.int/en/web/artificial-intelligence/ai-covid19

“Artificial Intelligence: A Modern Approach”, Stuart Russel y Peter Norvig, Pearson Series in Artificial Intelligence, Cuarta edición, 2020.

“Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems”, Géron, Aurélien, publicado por O’Reilly Media, segunda edición, 2019.

“Statistical learning goes beyond the d-band model providing the thermochemistry of adsorbates ontransition metals”, Rodrigo García-Muelas y Nuria López, Nature Comm. 10:4687, 2019.

“Using a machine learning approach to determine the space group of a structure from the atomic pair distribution function”, Chia-Hao Liu, Yunzhe Tao, Daniel Hsu,b Qiang Dua y Simon J. L. Billinge, Acta Cryst. A75, 633–643, 2019

“Inorganic Materials Synthesis Planning with Literature-Trained Neural Networks”, Edward Kim, Zach Jensen, Alexander van Grootel, Kevin Huang, Matthew Staib, Sheshera Mysore, Haw-Shiuan Chang, Emma Strubell, Andrew McCallum, Stefanie Jegelka, and Elsa Olivetti, J. Chem. Inf. Model. 60, 1194−1201, 2020.

“Discovering new Perovskites with Artificial Intelligence”, Juan I. Gómez – Peralta y Xim Bokhimi, J. Solid State Chemistry 285, 121253, 2020.

“A deep-learning technique for phase identification in multiphase inorganic compounds using synthetic XRD powder patterns”, Jin-Woong Lee, Woon Bae Park, Jin Hee Lee, Satendra Pal Singh y Kee-Sun Sohn, Nature Comm. 11, 86, 2020.

“Deep learning model for finding new superconductors”, Tomohiko Konno, Hodaka Kurokawa, Fuyuki Nabeshima, Yuki Sakishita, Ryo Ogawa, Iwao Hosako,

Atsutaka Maeda, Phys Rev. B 103, 014509, 2021.

“Perspective on integrating machine learning into computational chemistry and materials science”, Julia Westermayr, Michael Gastegger, Kristof T. Schutt, y Reinhard J. Maurer, J. Chem. Phys. 154, 230903, 2021.

“Crystal symmetry determination in electron diffraction using machine learning”, Kevin Kaufmann, Chaoyi Zhu, Alexander S. Rosengarten, Daniel Maryanovsky,

Tyler J. Harrington, Eduardo Marin, Kenneth S. Vecchio, Science 367, 564–568, 2020.

“Learning the Use of Artificial Intelligence in Heterogeneous Catalysis”, Xim Bokhimi, Frontiers in Chem. Eng. 3, 740270, 2021.

“Accurate and scalable graph neural network force field and molecular dynamics with direct force architecture”, Cheol Woo Park, Mordechai Kornbluth, Jonathan Vandermause, Chris Wolverton, Boris Kozinsky y Jonathan P. Mailoa, npj Computational Materials 7, 73 (2021).