Física (plan 2002) 2023-1

Optativas, Temas Selectos de Física Computacional I

Temas Selectos de Física Computacional I (Inteligencia Artificial en la Física)

15 clases durante el semestre, con un total de 45 horas.

Cada clase tiene una duración de 3 horas, incluyendo teoría y ejercicios.

Las clases se impartirán de manera presencial los días martes de las 15:00 a las 18:00 horas.

Inicio de clases el martes 16 de agosto del 2022.

Lugar: Instituto de Fisica, edificio principal, salón 111.

A cada clase se le asocia lo siguiente:

a) Una presentación en PowerPoint, que se expondrá en 30 minutos.

b) Una “Notebook” de Jupyter, documentada y con el código funcionando. La acompañan los archivos de datos.

c) Una carpeta con la correspondiente bibliografía; principalmente artículos científicos.

Los alumnos tendrán disponible para su uso libre toda esta información.

Temario

1. Inteligencia Artificial

1.1 Cuantificación del conocimiento.

1.2 Consecuencias del desarrollo al conocer las leyes fundamentales.

1.3 Porqué aprender sobre inteligencia artificial.

a. Física

b. Química

c. Visión

d. Medicina

e. Robótica

f. Arte g. Música

h. Lingüística

j. Servicios

A. Uso de Internet

B. Venta de productos

C. Entretenimiento

1.4 Infraestructura para el curso.

a. Sistema operativo: Linux.

b. Plataforma para computo interactivo: Jupyter Notebook.

c. Lenguaje de programación: Python, Numba, RAPIDS, JAX, TensorFlow, Pythorch, Keras, Pytorch Lighning

d. Hardware: CPU, GPU, TPU (Tensor Processing Unit).

e. Python básico

A. Tipos de valores, operaciones y conversiones.

B. Listas, diccionarios, arreglos.

C. Iteraciones, ordenamiento de elementos.

D. Funciones.

E. Pandas.

2. Representación de un problema con variables cuantificables.

2.1 Generación de datos asociados al problema.

2.2 Funciones que correlacionan los datos.

2.1.1. Tipo de funciones:

a. Polinomiales.

b. Lorenzianas, Gaussianas,

c. Redes Neuronales artificiales.

d. Maquina de soporte vectorial.

e. Bosques aleatorios

2.1.2. Métodos para ajustar una función a los datos.

a. Newton-Rapson.

b. Gauss-Legendre.

c. Gradiente Descendente (Cauchy).

e. Levenberg-Marquardt.

f. Kalman.

2.3 Cuaderno de trabajo (jupyter notebook) para ajustar funciones a un conjunto de datos.

3. Transición del ajuste de datos a la inteligencia artificial.

3.1 Métrica para realizar el ajuste de datos con funciones.

3.2 División de los datos para realizar y verificar el ajuste (validación-cruzada).

3.3 Inferencias a partir del ajuste.

3.4 Cambio de nomenclatura: de la empleada en el ajuste de datos a la empleada en inteligencia artificial.

3.5 Construcción de un primer sistema de aprendizaje (Learning Machine).

3.6 Cuaderno de trabajo para ajustar funciones a un conjunto de datos. Se amplian los criterios de análisis del ajuste. Se incluye un primer modelo de aprendizaje en inteligencia artificial.

4. Construcción de un sistema simple de aprendizaje, sistema multidimensional

4.1 Construcción empleando relaciones lineales entre las variables.

4.2 Construcción empleando relaciones no-lineales entre las variables.

4.3 Construcción empleando redes neuronales.

4.4 Cuaderno de trabajo para construir modelos de aprendizaje simples.

5. Códigos para generar sistemas de aprendizaje

5.1 Frameworks abiertos (libres)

a) Keras

b) Trax

c) TensorFlow

d) PyTorch

e) Pytorch Lightning

f) Scikit-Learn

g) MXNet

5.2 Frameworks comerciales a) Azure Machine Leaning Studio

b) IBM Watson

c) AWS ML

5.3 Cuaderno de trabajo para predecir la evolución de la diabetes en el tiempo.

6. Construcción de sistemas de aprendizaje (Machine Learning y Deep Learning).

6.1 Aprendizaje supervisado.

6.2 Aprendizaje no supervisado.

6.3 Aprenizaje reforzado

6.4 Redes Neuronales: Generalidades.

a. Redes neuronales unidireccionales totalmente conectadas (FFN).

b. Redes neuronales de convolución.

c. Redes neuronales recurrentes.

d. Redes neuronales de base radial.

e. Redes neuronales basadas en grafos.

6.4 Cuaderno de trabajo sobre aprendizaje no supervisado

7. Métricas para el aprendizaje con redes neuronales.

7.1 Métrica empleada en regresión lineal.

7.2 Clasificación: métrica empleada.

7.3 Clasificación: métrica para clases no uniformes,

7.4 Cuaderno de trabajo con diferentes arquitecturas de la red neuronal

8. Algoritmos de aprendizaje de las redes neuronales.

8.1 Gradiente descendiente.

8.2 Gradiente descendiente estocástico.

8.3 Propagación inversa.

8.4 Cuaderno de trabajo sobre clasificación de dígitos escritos a mano.

9. Modelo con excesos de parámetros en la red.

9.1 Regularización. Eliminación aleatoria de neuronas.

9.2 Normalización de los datos previo a su activación.

9.3 Aumento de datos.

9.4 Cuaderno de trabajo sobre la clasificación de objetos en imágenes

10. Redes neuronales de convolución

10.1 Filtros.

10.2 Capa de convolución.

10.3 Capa de normalización.

10.4 Capa de activación.

10.5 Capa de agrupamiento.

10.6 Capa densa.

10.7 Cuaderno de trabajo sobre clasificación de objetos en imágenes empleando redes neuronales de convolución

11. Diferentes arquitecturas de redes neuronales de convolución.

11.1 LeNet.

11.2 AlexNet.

11.3 ResNet.

11.4 U-Net

11.5 Cuaderno de trabajo sobre clasificación de dígitos empleando LeNet

11.6 Cuaderno de trabajo sobre clasificación de objeto en imágnes empleando AlexNet.

12. Generación de datos mediante transmisión de información (GAN, Generative Adversarial Networks).

12.1 Componentes de las GANs

12.2 Generador.

12.3 Discriminador.

12.4 Métrica para entrenar al Discriminador.

12.5 Métrica para entrenar al Generador.

12.6 Análisis sobre la transferencia de información.

12.7 Cuaderno de trabajo para producir imágenes de dígitos “escritos a mano”.

12.8 Cuaderno de trabajo para producir imágenes de objetos a color.

13. Determinación de estructuras cristalinas empleando difracción de rayos X de polvos y redes neuronales.

13.1 Rasgos para describir un patrón de difracción de rayos X de polvos.

13.2 Definición de la arquitectura de la red neuronal.

13.3 Generación de las muestras para alimentar la red.

13.4 Entrenamiento de la red neuronal.

13.5 Optimización de los híper-parámetros.

13.6 Inferencia para determinar la estructura cristalina de una fase.

13.7 Cuaderno de trabajo para determinar estructuras cristalinas empleando redes neuronales de convolución.

14. Generación de un potencial de interacción entre átomos empleando inteligencia artificial y grafos.

14.1 Generación del modelo de aprendizaje basado en grafos.

14.2 Cuaderno de trabajo para generar potenciales de interacción entre átomos empleando una arquitectura del sistema de aprendizaje basado en grafos.

15. Predicción de nuevos compuestos con estructura cristalina de perovskita

15.1 Seleccionar de la base de datos los compuestos que tengan una estructura cristalina del tipo perovskita, y un número igual que no la tengan.

15.2 Rasgos que definen a una estructura cristalina.

15.3 Definición de la arquitectura de la red neuronal.

15.4 Generación de las muestras para alimentar la red.

15.5 Entrenamiento de la red neuronal.

15.6 Optimización de los hiper-parámetros.

15.7 Inferencia para inferir nuevos compuestos con estructura del tipo perovskita.

15.8 Cuaderno de trabajo para la predicción de nuevos compuestos con estructura cristalina de perovskita.

Descripción del Tema

Las técnicas de inteligencia artificial han sido aplicadas con éxito en muchas áreas relacionadas con imágenes. Por ejemplo: en medicina, en geología, en robótica y en aparatos autónomos. Así como en áreas de venta de servicios como los que ofrecen Google, Netflix, Amazon, entre otros. El uso de estas técnicas se extiende cada vez más en Física, Química y en la Ciencia de los Materiales. Por lo cual es conveniente que nuestros alumnos aprendan su uso.

El curso tiene dos secciones.

En la primera, se dan todos los elementos para entender las técnicas de inteligencia que se van a usar en las aplicaciones, con un énfasis especial en redes neuronales artificiales.

En la segunda sección, se aplican estas técnicas a tres problemas diferentes de la física.

Primera aplicación.

Se entrenará una red neuronal artificial con información de patrones de difracción de rayos X de polvos y la correspondiente cristalografía de decenas de miles de compuestos cristalinos. Una vez entrenada la red. Se le proporcionará el patrón de difracción de rayos X de polvos de una fase nueva, desconocida. La red, entonces, proporcionará la posible cristalografía de la nueva fase. Asimiladas estas aplicaciones, los alumnos tendrás las bases para pensar en nuevas aplicaciones de las técnicas de inteligencia artificial para resolver problemas relacionados con la física.

Determinación de campos de fuerzas con redes neuronales artificiales. Se parte de un conjunto de miles de distribuciones atómicas (cristalinas, nanocristalinas o amorfas) de un compuesto determinado. Se calcula la energía total de cada miembro de este conjunto empleando técnicas de mecánica cuántica, por ejemplo, la teoría de funcionales de la densidad.

Se alimenta a la red neuronal con estos cálculos, para que “aprenda”.

Una vez que la red ha sido entrenada, se genera una función que nos permite calcular la energía de una nueva distribución de átomos (del mismo sistema en el que se hicieron los cálculos) y también las fuerzas en cada uno de los átomos.

Esto nos permite hacer cálculos de dinámica molecular (de este sistema) para tiempos grandes y también para distribuciones con un número mucho mayor de átomos que los empleados en los cálculos realizados con mecánica cuántica. Por ejemplo, el número de átomos en los cálculos de mecánica cuántica será menor o mucho menor a 1000, mientras que empleando los resultados de las redes neuronales el cálculo se puede realizar para millones de átomos. La precisión de los cálculos generados con las redes neuronales tiene la misma precisión que la obtenida con los cálculos realizados con mecánica cuántica.

Esta misma aplicación se resuelve empleando grafos para representar la distribución atómica.

Segunda aplicación

Determinación de campos de fuerzas con redes neuronales artificiales. Se parte de un conjunto de miles de distribuciones atómicas (cristalinas, nanocristalinas o amorfas) de un compuesto determinado. Se calcula la energía total de cada miembro de este conjunto empleando técnicas de mecánica cuántica, por ejemplo, la teoría de funcionales de la densidad.

Se alimenta a la red neuronal con estos cálculos, para que “aprenda”. Una vez que la red ha sido entrenada, se genera una función que nos permite calcular la energía de una nueva distribución de átomos (del mismo sistema en el que se hicieron los cálculos) y también las fuerzas en cada uno de los átomos.

Esto nos permite hacer cálculos de dinámica molecular (de este sistema) para tiempos grandes y también para distribuciones con un número mucho mayor de átomos que los empleados en los cálculos realizados con mecánica cuántica. Por ejemplo, el número de átomos en los cálculos de mecánica cuántica será menor o mucho menor a 1000, mientras que empleando los resultados de las redes neuronales el cálculo se puede realizar para millones de átomos. La precisión de los cálculos generados con las redes neuronales tiene la misma precisión que la obtenida con los cálculos realizados con mecánica cuántica.

Esta misma aplicación se resuelve empleando grafos para representar la distribución atómica.

Tercera aplicación

El propósito de esta aplicación de descubrir nuevos compuestos con una estructura cristalina del tipo perovskita. Se parte de una base de datos con la cristalografía de miles de compuestos, de los cuales se seleccionan aquellos que tienen una estructura cristalina del tipo perovskita, y un conjunto de igual número pero que no tenga una estructura cristalina del tipo perovskita.

Se proponen como rasgos para describir los compuestos, varias relaciones entre los tamaños de los radios atómicos, su valencia, y su orden atómico local. Como variable objetivo (clases) es perovskita o no perovskita.

Una vez entrenado el sistema de aprendizaje, se alimenta este con un conjunto de átomos para predecir si estos formarán o no una estructura cristalina del tipo perovskita.

Literatura

“Role of Big Data and Machine Learning in Diagnostic Decision Support in Radiology”, Tanveer Syeda-Mahmood, J. Am. Coll. Radiol. 15, 569-576 (2018).

“Multi-scale gradual integration CNN for false positive reduction in pulmonary nodule detection”, Bum-Chae Kim, Jee Seok Yoon, Jun-Sik Choi, y Heung-IlSuk, Neural Networks 115, 1-10 (2019).

“Generalized Neural-Network Representation of High-Dimensional Potential-Energy Surfaces”, Jörg Behler and Michele Parrinello, Phys. Rev. Lett. 98, 146401 (2007).

“An implementation of artificial neural-network potentials for atomistic materials simulations: Performance for TiO”, Nongnuch Artrith y Alexander Urban, Computational Materials Science 114, 135-150 (2016).

“Parallel Multistream Training of High-Dimensional Neural Network Potentials”, Andreas Singraber, Tobias Morawietz, Jörg Behler, y Christoph Dellago, J. Chem Theory and Comp. 15, 3075-3092 (1919).

“Rationalizing Perovskite Data for Machine Learning and Materials Design”, Qichen Xu, Zhenzhu Li, Miao Liu, y Wan-Jian Yin, J. Phys. Chem. Lett. 9, 6948-6954 (2018).

“Classification of crystal structure using a convolutional neural network”, Woon Bae Park, Jiyong Chung, Jaeyoung Jung, Keemin Sohn, Satendra Pal, Singh, Myoungho Pyo, Namsoo Shind, y Kee-Sun Sohn, IUCrJ 4, 486–494 (2017).

“Insightful classification of crystal structures using deep learning”, Angelo Ziletti, Devinder Kumar, Matthias Scheffler, y Luca M. Ghiringhelli, nature communications 9, 2775 (2018).

“Python Machine Learning”, Sebastian Rashka y Vahid Mirjalili, Pack Publishing, Birmingham 2017, 2nd edition.

“Hands-on Machine Learning with Scikit-Learn, Keras, & TensorFlow”, Aurélien Géron, O’Reilly, Beigin, NY, 2nd. edition, 2019.

“Artificial Intelligence: a modern approach”, S. Russell and Peter Norvig, Pearson, Fourth edition, 2021.

“Neural Networks and Deep Learning”, Michael A. Nielsen, Determination Press, 2015. Online book. Libro en linea disponible en: http://neuralnetworksanddeeplearning.com

La inteligencia artificial ayuda al control de la pandemia asociada a la Covid-19 URL: https://www.coe.int/en/web/artificial-intelligence/ai-covid19

“Artificial Intelligence: A Modern Approach”, Stuart Russel y Peter Norvig, Pearson Series in Artificial Intelligence, Cuarta edición, 2020.

“Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems”, Géron, Aurélien, publicado por O’Reilly Media, segunda edición, 2019.

“Statistical learning goes beyond the d-band model providing the thermochemistry of adsorbates ontransition metals”, Rodrigo García-Muelas y Nuria López, Nature Comm. 10:4687, 2019.

“Using a machine learning approach to determine the space group of a structure from the atomic pair distribution function”, Chia-Hao Liu, Yunzhe Tao, Daniel Hsu,b Qiang Dua y Simon J. L. Billinge, Acta Cryst. A75, 633–643, 2019

“Inorganic Materials Synthesis Planning with Literature-Trained Neural Networks”, Edward Kim, Zach Jensen, Alexander van Grootel, Kevin Huang, Matthew Staib, Sheshera Mysore, Haw-Shiuan Chang, Emma Strubell, Andrew McCallum, Stefanie Jegelka, and Elsa Olivetti, J. Chem. Inf. Model. 60, 1194−1201, 2020.

“Discovering new Perovskites with Artificial Intelligence”, Juan I. Gómez – Peralta y Xim Bokhimi, J. Solid State Chemistry 285, 121253, 2020.

“A deep-learning technique for phase identification in multiphase inorganic compounds using synthetic XRD powder patterns”, Jin-Woong Lee, Woon Bae Park, Jin Hee Lee, Satendra Pal Singh y Kee-Sun Sohn, Nature Comm. 11, 86, 2020.

“Deep learning model for finding new superconductors”, Tomohiko Konno, Hodaka Kurokawa, Fuyuki Nabeshima, Yuki Sakishita, Ryo Ogawa, Iwao Hosako, Atsutaka Maeda, Phys Rev. B 103, 014509, 2021.

“ Physics guided deep learning generative models for crystal materials discovery”, Y. Shao, E. M. D. Siriwardane, J. Huim. AAAI Fall Symposium Series (FSS) 2021.

“Perspective on integrating machine learning into computational chemistry and materials science”, Julia Westermayr, Michael Gastegger, Kristof T. Schutt, y Reinhard J. Maurer, J. Chem. Phys. 154, 230903, 2021.

“Crystal symmetry determination in electron diffraction using machine learning”, Kevin Kaufmann, Chaoyi Zhu, Alexander S. Rosengarten, Daniel Maryanovsky, Tyler J. Harrington, Eduardo Marin, Kenneth S. Vecchio, Science 367, 564–568, 2020.

“Learning the Use of Artificial Intelligence in Heterogeneous Catalysis”, Xim Bokhimi, Frontiers in Chem. Eng. 3, 740270, 2021.

“Accurate and scalable graph neural network force field and molecular dynamics with direct force architecture”, Cheol Woo Park, Mordechai Kornbluth, Jonathan Vandermause, Chris Wolverton, Boris Kozinsky y Jonathan P. Mailoa, npj Computational Materials 7, 73 (2021).

“Machine learned Hückel theory: Interfacing physics and deep neural networks”, T. Zubatiuk, B. Nebgen, N. Lubbers, J. S. Smith, R. Zubatyuk, G. Zhou, C. Koh, K. Barros, O. Isayev y S. Tretiak. J. Chem. Phys. 154, 244108 (2021). doi:10.1063/5.0052857.