96764 - MATHEMATICS FOR COMPLEX SYSTEMS

Scheda insegnamento

Anno Accademico 2021/2022

Conoscenze e abilità da conseguire

At the end of the course the student : - has in-depth knowledge of the possible applications of complex system's theory to the study of statistical inference and machine learning problems; - is able to introduce a stochastic generative model, set up an inference procedure to extract information from data and discuss process complexity and theoretical limits of the inference/learning performance from the perspective of the theory of complex systems and phase transitions.

Contenuti

  • Richiami di Probabilità, Teoria dell’Informazione e Meccanica Statistica;
  • Modelli di Ising: stati termodinamici e transizioni di fase;
  • Sistemi con frustrazione e Teoria di Gauge;
  • Grafi Random: degree distribution, componenti e metriche; Configuration Model; Erdos-Renyi; Grafi di massima entropia, Strutture Macroscopiche e Stochastic Block Model;
  • Factor graphs: proprietà di base, grafi localmente ad albero, Energia Libera di Bethe;
  • Belief Propagation, Message-Passing Algorithm, TAP equations;

Approfondimenti/Applicazioni

  • Spin di Ising: Belief Propagation vs Glauber Dynamics;
  • Belief Propagation e community detection su reti: “detectability transitions” e complessità;
  • Codifica, trasmissione e decodifica di sequenze di dati;
  • Ricostruzione di immagini;
  • Learning nel perceptrone e nelle reti neurali: capacità critica e transizioni di fase;

Testi/Bibliografia

Referenze principali:

  • M.Mézard, A.Montanari - Information, Physics, and Computation - Oxford University Press, USA
    (2009);
  • Nishimori, H.: Statistical Physics of Spin Glasses and Information processing. An Introduction. Oxford
    Science Publications 2001.
  • Coolen, Kuhn, Sollich, Theory of Neural InformationProcessing Systems, Oxford University Press

Letture suggerite:

  • Mark Newman - Networks_ An Introduction - Oxford University Press (2010);
  • Decelle, A., Krzakala, F., Moore, C., & Zdeborová, L. (2011). Asymptotic analysis of the stochastic block model for modular networks and its algorithmic applications. Physical Review E, 84(6), 066106.
  • Zdeborová, L., & Krzakala, F. (2016). Statistical physics of inference: Thresholds and
    algorithms. Advances in Physics, 65(5), 453-552.
  • Gardner, E., and Derrida, B.: Optimal storage properties of neural network models. J. Phys. A: Math.
    Gen. 21, 271-284 (1988)

Metodi didattici

Lezioni frontali

Modalità di verifica e valutazione dell'apprendimento

La verifica dell' apprendimento consiste in una prova orale che mira a verificare l’acquisizione delle conoscenze previste dal programma del corso e a valutare le abilità conseguite come previsto dagli obiettivi formativi quali:

  • Nozioni avanzate di Meccanica Statistica applicata e Teoria dei Grafi Random;
  • Capacità di leggere e interpretare problemi di Ottimizzazione, Inferenza e Machine Learning dal punto di vista della Meccanica Statistica, delineandone la struttura matematica e le possibili soluzioni;
  • Capacità di condurre esperimenti numerici, implementando algoritmi di Inferenza su dati simulati o
    reali;
  • Capacità di condurre autonomamente l'approfondimento verso gli sviluppi più recenti delle tematiche sopra citate e dei loro problemi più significativi;

Strumenti a supporto della didattica

Note del corso e registro aggiornato delle lezioni;

Orario di ricevimento

Consulta il sito web di Daniele Tantari