93918 - NEURAL SYSTEMS

Scheda insegnamento

Anno Accademico 2021/2022

Conoscenze e abilità da conseguire

Al termine del corso lo studente possiede strumenti teorici e pratici sui principali modelli di neuroni, sulle reti neurali, sia artificiali sia ispirate alla fisiologia, sulle tecniche di apprendimento per sistemi neurali, sui problemi affrontabili attraverso ciascun tipo di rete. In particolare: - conosce le principali tipologie di rete ispirate alla biologia - conosce alcuni elementi fondamentali delle tecniche di deep learning - è in grado di simulare il comportamento di semplici reti neurali al computer e di valutare criticamente i risultati - è in grado di collegare le conoscenze modellistiche con aspetti della neurofisiologia - possiede conoscenze di base sulla organizzazione del cervello, e sulle recenti problematiche delle neuroscienze cognitive. Lo studente è inoltre in grado di esaminare criticamente la funzione e il ruolo delle reti neurali in vari ambiti applicativi legati alla medicina e alla biologia

Contenuti

Modelli di cellula neuronale

Richiami alla cellula neuronale. Il potenziale di membrana e il ruolo delle principali specie ioniche. Il concetto di cellula eccitabile e il potenziale d'azione. Equivalente Elettrico della cellula.

Richiami al modello di Hodgkin-Huxley. Il modello di Hodgkin-Huxley semplificato con due variabili di stato (nel piano fast-fast e nel piano fast-slow). Il modello di FitzHugh-Nagumo.

Introduzione ai modelli “integrate and fire”. Vantaggi di tali modelli. Analisi della frequenza di scarica del modello “integrate and fire” stimolato da una corrente costante. Inserimento delle conduttanze sinaptiche nel modello “integrate and fire”. Modello di una rete di neuroni “integrate and fire” connessi fra di loro. Vantaggi e limiti di tali modelli.

Modelli di reti di neuroni

Semplificazione del modello: dal modello “spiking neuron” al modello “firing rate”. Vantaggi del modello semplificato, e suoi limiti. Indicazioni sulla scelta del modello più opportuno.

Caratteristiche generali di una rete neurale, e considerazioni sulle diverse proprietà. Esempi di semplici reti neurali: il modello a puro feedforward, il modello feedforward+feedback, i neuroni eccitatori e inibitori. L'apprendimento delle sinapsi, il connessionismo e la regola di Hebb. Evidenze sperimentali: il rafforzamento e l'indebolimento omosinaptico ed eterosianptico.

Le memorie associative

Introduzione alle memorie etero-associative. Lo stimolo condizionato e lo stimolo incondizionato. Esempio di memorie eteroassociative addestrate con la regola di Hebb. La memorizzazione di pattern ortogonali e l'interferenza fra pattern non ortogonali. Vantaggi di tali memorie (robustezza, insensibilità ai disturbi).

Introduzione alla memoria autoassociative. Il modello di Hopfield. Energia della rete di Hopfield: teorema di convergenza. Il concetto di memoria indirizzata per contenuto. Analisi della capacità di memorizzazione di una rete di Hopfield. La rete di Hopfield come modello dell'ippocampo. Principali caratteristiche anatomiche e funzionali dell'ippocampo. La memoria episodica di breve periodo.

Le reti con supervisore (o a correzione dell'errore)

Introduzione alle reti con supervisore. Il percettrone di Rosenblatt. La regola di addestramento del percettrone e il teorema di convergenza. Il percettrone come classificatore lineare: pregi e limiti. Il problema dell'or esclusivo. Estensione del percettrone al caso di reti con funzioni di attivazione continue e derivabili. La regola delta.

Reti neurali di tipo feedforward a più strati. L'algoritmo di backpropagation: l'addestramento dei neuroni di uscita e dei neuroni nascosti. Vantaggi e limiti delle reti addestrate con backpropagation. Rilevanza biologica delle reti a correzione di errore. La struttura anatomica e la funzione del cervelletto. Il cervelletto come percettrone.

L'apprendimento rinforzato (o apprendimento con critica) e l'interazione soggetto ambiente. Algoritmo per l'apprendimento rinforzato in una rete stocastica.

Elementi di deep learning

Il concetto di deep learning. Tecniche di addestramento di reti basate sul deep learning: - Regolarizzazione per l'apprendimento deep; - Ottimizzazione per l'apprendimento di modelli deep; la scelta degli iperparametri. Le reti di tipo convolutivo con esempi di applicazione nell’ambito delle neuroscienze. Le reti ricorrenti.

Le macchine di Boltzmann

Caratteristiche generali. La macchina di Boltzmann come generalizzazione delle reti di Hopfield. Apprendimento nelle macchine di Boltzmann. Le macchine di Boltzmann “ristrette” e le loro applicazioni nel deep learning.

Le reti auto-organizzate

Introduzione all'apprendimento senza supervisore. Lo scopo e le caratteristiche essenziali dell'apprendimento senza supervisore. Le ricerca delle componenti principali di un vettore aleatorio. Reti per il calcolo delle componenti principali di un vettore aleatorio. Le regole di Oja e di Sanders. Il concetto di inibizione laterale e il suo ruolo nei sistemi sensoriali. Le reti competitive. Miglioramento del contrasto in un modello dell'occhio composto. La formazione di categorie attraverso reti neurali autoorganizzate. Le reti del tipo “il vincitore prende tutto”. Principali limiti di tali reti. L'algoritmo di Kohonen e la formazione di mappe topologiche. Esempi di mappe topologiche sulla corteccia cerebrale per la percezione sensoriale.

La retina e la visione

Introduzione alla visione: la retina degli animali superiori. I fotorecettori, le cellule orizzontali e le cellule bipolari. Miglioramento del contrasto nella retina. La percezione del movimento nella retina e la funzione delle cellule amacrine. La percezione del colore. Principi generali dell’elaborazione nella corteccia visiva.

Organizzazione su larga-scala del cervello

Ipotesi sull'organizzazione a larga-scala del cervello. Elementi di elaborazione nella corteccia posteriore: l'elaborazione unimodale visiva (what e where) e l'elaborazione somato-sensoriale. Associazione fra diverse modalità sensoriali: il ruolo dell'amigdala e della corteccia orbitofrontale. Necessità di diversi tipi di memoria e relative reti neurali. Il ruolo dell'ippocampo. La memoria integrativa, episodica e la memoria di lavoro (corteccia prefrontale).

Testi/Bibliografia

Dispense fornite dal docente. Questo materiale sarà caricato sulla piattaforma per il repository del materiale didattico messo a disposizione dall'Università.

I testi seguenti non sono necessari per la preparazione dell’esame, ma possono servire per eventuali approfondimenti successivi all'esame:

Per una trattazione esauriente dei vari modelli di neuroni:

· P. Dayan, L.F. Abbott. “Theoretical Neuroscience. Computational and Mathematical Modeling of Neural Systems”. The MIT Press, London, England, 2001.

Per gli aspetti matematici e le dimostrazioni rigorosa del comportamento di alcune reti:

· J. Hertz, A. Krogh, R. G. Palmer. “Introduction to the Theory of Neural Computation”. Addison Wesley, NewYork, 1991.

· S. Haykin. “Neural Networks. A Comprehensive Foundation”, IEEE Press, NewYork, 1994.

Per elementi di deep learning

I. Goodfellow, Y. Bengio, A. Courville, “Deep learning”, MIT Press, 2016.

C. C: Aggarwal, “Neural Networks and Deep Learning”, Springer, 2018

Per i legami con le neuroscienze e le scienze cognitive:

· J.A. Anderson. “An Introduction to Neural Networks”. The MIT Press, Cambridge, MA, 1995.

· E.T. Rolls, A. Treves. “Neural Networks and Brain Function”. Oxford University Press. Oxford, 1998.

· R. C. O'Reilly, Y. Munakata. “Computational Explorations in Cognitive Neuroscience”. The MIT Press, Cambridge, MA, 2000.

Per i fondamenti fisiologici delle neuroscienze:

· E.R. Kandel, J.H. Schwartz, T.M. Jessell. "Principles of Neural Sciences", McGraw Hill, 2005

Metodi didattici

Il corso e articolato in lezioni ex-cathedra ed esercitazioni al computer mediante l'uso del pacchetto MATLAB. Le lezioni si propongono di fornire allo studente le conoscenze teoriche sui modelli di neuroni e di reti neurali, e di renderlo consapevole dei pregi e limiti di ciascuna tecnica. Le esercitazioni si propongono di addestrare lo studente alla risoluzione di semplici problemi con l'uso di reti neurali, e di fargli vedere nella pratica le possibilità e i limiti dei modelli e delle reti proposte durante il corso.

La frequenza alle lezioni è fortemente consigliata, poiché le informazioni fornite nei materiali didattici, sebbene complete, sono approfondite e commentate in dettaglio dal docente in aula.

Modalità di verifica e valutazione dell'apprendimento

L'esame di fine corso è basato su un colloquio con lo studente (durata 45-50 minuti). Durante il colloquio saranno posti tre quesiti allo studente, su aspetti diversi del corso riguardanti la modellistica neuronale (modelli di neurone, reti associative, reti a correzione d’errore, reti auto-organizzate, deep learning, ecc…, includendo una discussione delle esercitazioni matlab).

Il colloquio si propone di valutare il raggiungimento degli obiettivi didattici e in particolare:
- la conoscenza dei principali modelli di neurone;
- la conoscenza delle principali tipologie di reti neurali e la loro applicazione;
- le problematiche di base delle neuroscienze computazionali;
- la capacità di applicare le tecniche utilizzate durante il corso.

Le capacità di analisi e sintesi dello studente, le sue abilità linguistiche, e la chiarezza espositiva sono anche parte del giudizio finale.

Per avere la lode è necessaria una ottima padronanza della materia su ciascuna delle tre domande poste. Il voto viene quindi scalato sulla base del numero e della gravità degli errori commessi.

Strumenti a supporto della didattica

Lavagna a gesso, videoproiettore.

Appunti forniti dal docente. Fotocopie di immagini relative alle neuroscienze e alle scienze cognitive.

Laboratorio di personal computer.

Software matlab, presso il laboratorio di personal computer, per lo svolgimento di esercitazioni al computer

Orario di ricevimento

Consulta il sito web di Mauro Ursino