96764 - MATHEMATICS FOR COMPLEX SYSTEMS

Conoscenze e abilità da conseguire

At the end of the course the student : - has in-depth knowledge of the possible applications of complex system's theory to the study of statistical inference and machine learning problems; - is able to introduce a stochastic generative model, set up an inference procedure to extract information from data and discuss process complexity and theoretical limits of the inference/learning performance from the perspective of the theory of complex systems and phase transitions.

Contenuti

• Richiami di Probabilità;
  
• Approccio della Meccanica Statistica ai Sistemi Complessi, con esempi su modelli di Ising;
  
• Dalla Meccanica Statistica all'Inferenza Bayesiana: Mapping tra sistemi fisici e problemi computazionali; 
• Statica e Dinamica dei Sistemi Complessi con applicazioni a sistemi fisici e di Machine Learning (es. ricostruzione di immagini);
• Inferenza Bayesiana su grafi (es. community detection);
• Dall'Inferenza Bayesiana all'ottimizzazione in problemi di Machine Learning (es. regressione lineare).

Strumenti

Alla fine del corso, lo studente avrà imparato ad utilizzare principalmente i seguenti strumenti matematici ed algoritmi:

• Teoria delle Repliche e Cavità;
  
• Teoria di Campo medio dinamica e dinamica online;
  
• Belief Propagation;
• Metodi Monte Carlo e Catene di Markov.
  

Testi/Bibliografia

Referenze principali:

• M.Mézard, A.Montanari - Information, Physics, and Computation - Oxford University Press, USA
  (2009);
• Nishimori, H.: Statistical Physics of Spin Glasses and Information processing. An Introduction. Oxford
  Science Publications 2001;
• Coolen, Kuhn, Sollich, Theory of Neural Information Processing Systems, Oxford University Press;
• Engel, A., Van Den Broeck, C., Statistical Mechanics of Learning, Cambridge University Press.

Letture suggerite:

• Mark Newman - Networks_ An Introduction - Oxford University Press (2010);
• Decelle, A., Krzakala, F., Moore, C., & Zdeborová, L. (2011). Asymptotic analysis of the stochastic block model for modular networks and its algorithmic applications. Physical Review E, 84(6), 066106;
• Zdeborová, L., Krzakala, F. (2016). Statistical physics of inference: Thresholds and algorithms. Advances in Physics, 65(5), 453-552;
• Gardner, E., and Derrida, B.: Optimal storage properties of neural network models. J. Phys. A: Math.
  Gen. 21, 271-284 (1988).

Metodi didattici

Lezioni frontali.

Modalità di verifica e valutazione dell'apprendimento

La verifica dell' apprendimento consiste in una prova orale che mira a verificare l’acquisizione delle conoscenze previste dal programma del corso e a valutare le abilità conseguite come previsto dagli obiettivi formativi quali:

• Nozioni avanzate di Meccanica Statistica applicata e Teoria dei Grafi Random;
• Capacità di leggere e interpretare problemi di Ottimizzazione, Inferenza e Machine Learning dal punto di vista della Meccanica Statistica, delineandone la struttura matematica e le possibili soluzioni;
• Capacità di condurre esperimenti numerici, implementando algoritmi di Inferenza su dati simulati o reali;
• Capacità di condurre autonomamente l'approfondimento verso gli sviluppi più recenti delle tematiche sopra citate e dei loro problemi più significativi.

Strumenti a supporto della didattica

Gli strumenti a supporto della didattica saranno disponibili sulla piattaforma Virtuale.

Orario di ricevimento

Consulta il sito web di Federica Gerace