35264 - TEORIA DELL'INFORMAZIONE LM

Conoscenze e abilità da conseguire

Al termine del corso lo studente: - conosce i fondamenti della teoria dell'informazione di Shannon ed in particolare il concetto di entropia, i limiti teorici nella compressione di sorgente, la capacità di canali di trasmissione, i limiti nella codifica di canale; - conosce i fondamenti della crittologia e della sicurezza nelle comunicazioni; - conosce le tecniche di codifica per la compressione e protezione dell'informazione, con applicazione a segnali audio e video MPEG; - è in grado di progettare codificatori e decodificatori di sorgente e canale con riferimento ai principali scenari applicativi di interesse (comunicazioni satellitari, sistemi wireless cellulari, sistemi di memorizzazione dell'informazione).

Contenuti

Misura dell'informazione e Codifica di sorgente
Incertezza, Informazione, Entropia. Entropia di sorgenti discrete. Ridondanza di sorgente. Applicazione: ridondanza della lingua italiana. Codifica di sorgente: codici a lunghezza fissa e variabile. Codici non ambigui, codici istantanei, codici a prefisso. Codici a prefisso: la disuguaglianza di Kraft. Teorema della codifica di sorgente. Codice di Huffman. Codice di Lempel-Ziv. Applicazioni.

Capacità di canale
Il canale discreto senza memoria. Incertezza a priori, equivocazione, informazione mutua. Capacita' di un canale discreto senza memoria. Teorema della codifica di canale. Entropia differenziale. Capacita' di canali con rumore additivo Gaussiano: la formula di Hartley-Shannon. Il piano efficienza spettrale – rapporto segnale rumore.

Codifica di canale
Sicurezza e protezione dell'informazione. Correzione e rivelazione di errori nella trasmissione dati. Codici a blocco lineari. Matrice generatrice del codice. Codici equivalenti. Codici sistematici. Codici duali. Matrice di controllo della parita'. Codici di Hamming. Codici di Reed-Muller. Elementi di teoria della decisione: criterio della massima probabilita' a posteriori (MAP), criterio di massima verosimiglianza (ML). Decodifica ottima basata su hard e soft decisions. Codici ciclici. Circuiti moltiplicatori e divisori con shift register. Codici per la rivelazione di errore e tecniche di ritrasmissione (ARQ). Principali codici ciclici. Codici a massima lunghezza. Sequenze pseudo-casuali: principali proprieta'. Lo scrambling. Codici BCH. Codici di Reed-Solomon. Codici convoluzionali: diagramma ad albero, diagramma a trellis, diagramma degli stati. Decodifica mediante l'algoritmo di Viterbi: aspetti implementativi e complessita'. Canali con errori a burst: interleaving e FEC. Codici concatenati. Decodifica iterativa: turbo-codici, codici basati su matrici sparse.
Fondamenti di crittologia e di sicurezza nelle comunicazioni.

Applicazioni
Compressione e protezione di segnali audio e video nei sistemi di memorizzazione di massa, nei sistemi radiomobili cellulari, nei sistemi di trasmissione da satellite, nelle reti wireless locali.

Testi/Bibliografia

T.M. COVER, J.A. THOMAS, ELEMENTS OF INFORMATION THEORY, WILEY-INTERSCIENCE, NEW YORK.

M. CHIANI, ERROR CORRECTING CODES (APPUNTI)

Metodi didattici

Lezioni in aula.
Esercitazioni al calcolatore in ambiente Matlab o C.

Modalità di verifica e valutazione dell'apprendimento

La verifica dell'apprendimento avviene attraverso una prova scritta finale di 2 ore, durante la quale non è ammesso l'uso di libri, appunti, calcolatrici, supporti elettronici, e una successiva prova orale.
La prova scritta mira ad accertare le abilità acquisite nel risolvere problemi nell'ambito delle tematiche affrontate. Essa viene valutata attraverso un giudizio che deve risultare positivo per consentire l'accesso alla prova orale. La validità della prova scritta superata è limitata agli appelli di una stessa sessione d'esame. La prova orale mira a verificare l'acquisizione delle conoscenze previste dal programma del corso. Sia la prova scritta che quella orale hanno l'ulteriore scopo di verificare l'apprendimento dei metodi generali della teoria dell'informazione e l'acquisizione di giudizio critico in relazione alle diverse implementazioni di sistemi di compressione e codifica di informazioni. Il voto finale, espresso in trentesimi, tiene conto delle valutazioni riportate in entrambe le prove.

Strumenti a supporto della didattica

Personal computer

Orario di ricevimento

Consulta il sito web di Marco Chiani