Presentación del grupo 7198 - 2009-1.

Teoría de la Información

Antonio Neme
Víctor Mireles
Elizabeth Chávez

¿Te has preguntado qué quiere decir exactamente que un organismo afecte a otro? ¿que un proceso dependa del resultado de otro?

¿que haya retroalimentación en un sistema informático, social, biológico, económico? ¿Qué queremos decir con "sistema"?

¿Qué información se almacena y se transmite en moléculas como el ADN?

La transmisión de información entre individuos y sus componentes, ¿Qué tanto determina las formas observadas en la naturaleza?"

¿Qué es la redundancia?

¿Qué propiedades tiene un programa de computadora que lo hacen ser útil para nosotros?

¿Por qué el código Morse era tan bueno para el telégrafo?

¿Por qué funcionan los algoritmos de compresión y cuáles son sus limitaciones?

La teoría de la información nos permite crear y analizar modelos adecuados para resolver estas preguntas, incluso varias de ellas a la vez. Porque el flujo de información es tan importante dentro de un sistema como el flujo de energía y comprenderlo nos ayuda a entender muchos procesos de la naturaleza.

El semestre 2009-1 daremos un seminario de teoría de la información orientado a computólogos, biólogos y físicos, pero en el que cualquier persona es bienvenida. Empezaremos con la parte meramente teórica, un poco de sencillas e intuitivas matemáticas; para después seguir con aplicaciones de todo tipo. Las discusiones en el salón a partir de lecturas serán centrales en el curso, y serán complementadas con ejercicios sencillos y divertidos, algunos de los cuales serán hechos por medio de la computadora.
Saber programar NO es un requisito para el curso; al contrario, será una buena oportunidad para que los que no están familizarizados con las computadoras vean en qué pueden ayudarles.

Habrá tres clases a la semana y la evaluación será por medio de tareas que exigirán, todas ellas, creatividad.

Temario:

Introducción.
Los conceptos de información y entropía.
Aspectos históricos

Conceptos Básicos de Probabilidad

Teoría de la Información de Shannon
La función H como medida de incertidumbre
Propiedades de la función H.
Teorema Fundamental de la Teoría de la Información.
Redundancia, eficiencia, y otras aplicaciones a la comunicación.
Autómata Celulares y sus propiedades informacionales.
Flujos de Información en procesos químicos.
Caos.
Exponentes de Lyapunov.
Autoorganización.

Complejidad Computacional de Kolgmogorov
El azar.
Definiciones.
Universalidad.
El número Omega.
Relaciones entre la función K y la entropía.


Aplicaciones de Teoría de la Información
La Función de Información Mutua
Compresión de datos
Secuencias biológicas
Redes neuronales

Tendremos algunos libros de consulta, y muchos artículos que discutiremos en clase. La bibliografía básica será

Aczel, J.
On measures of information and their characterizations
Academic Press (1975)

Adami, C.
Introduction to Artificial Life
Springer ELOS (1998)

Ayres R.
Information entropy and progress : a new evolutionary paradigm
AIP (1994)

Feynman, R.
Lectures on Computation
Westview Press (2000)

Gnedenko B.
An elementary introduction to the theory of probability
Dover (1962)

Li, M. Vitányi P.
An Introduction to Kolmogorov Complexity and Its Applications
Springer (1993)

Seife, C.
Decoding the Universe
Viking (2006)