Scheda Insegnamento

Information Theory (codice 90821)

Curriculum: Curriculum unico del corso di Telecommunications Engineering - Ingegneria delle Telecomunicazioni
Programmazione per l'A.A.: 2018/2019

Appelli d'esame: Calendario - Prenotazioni
Orari del corso di Telecommunications Engineering - Ingegneria delle Telecomunicazioni: apri

---

Crediti Formativi Universitari (CFU): 9,00
Settore Scientifico Disciplinare (SSD): ING-INF/03
Ambito disciplinare: Ingegneria delle telecomunicazioni
Attività: Attività formative caratterizzanti (B)
Ore aula: 42
Ore laboratorio:15
Ore esercitazioni: 15

---

Canale unico

• Docente: GROSSI EMANUELE

---

Obiettivi:
Il corso si propone di fornire gli elementi basilari della teoria dell'informazione, con particolare attenzione su compressione dati e codifica, e di enfatizzare le connessioni con le tecniche di elaborazione elaborazione e trasmissione dell'informazione affrontate nei precedenti corsi di trasmissione numerica.

Programma:
Informazione e sua misura. Entropia, Divergenza, mutua informazione e loro proprietà. Diseguaglianza di Jensen. Teorema del trattamento dati. Diseguaglianza di Fano. Proprietà di equipartizione asintotica e sue interpretazioni. Tasso entropico. Teorema di Shannon-McMillan-Breiman. Caratterizzazione di sorgenti di Markov. Principio della compressione dati. Codifica di sorgente: codici istantanei e univocamente decifrabili. Diseguaglianza di Kraft. Codici di Huffman, Shannon-Fano-Elias ed aritmetici. Introduzione alla codifica di canale: definizioni, proprietà ed esempi. Capacità di canale e rate di un codice. Sequenze congiuntamente tipiche. II teorema di Shannon (o della capacita di canale). Teorema congiunto della codifica di sorgente e di canale. Metodo dei tipi, codifica universale, algoritmo di Lempel-Ziv. Entropia differenziale, divergenza e mutua informazione per variabili aleatorie continue. Canale Gaussiano e teorema della codifica di canale con vincolo di potenza. Canali Gaussiani paralleli e banda limitati. Canali con feedback. Rate distorsion theory: definizioni e teoremi principali. Rate distorsion function per variabili binarie e gaussiane.

Testi:
Thomas. M. Cover, Joy A. Thomas, "Elements of Information Theory", Wiley, 2006.

Valutazione:
L'obiettivo dell'esame e' verificare che lo studente abbia da un lato compreso i principi che stanno alla base della teoria dell'informazione, dall'altro che sappia utilizzarne le metodologie ai fini di progettare sistemi di comunicazione e/o di comprendere le scelte tecniche che stanno alla base dei principali dispositivi digitali in uso. La valutazione si basa su un esame scritto, consistente di un certo numero di problemi, di natura sia teorica che numerica, tra i quali lo studente puo' scegliere un sottoinsieme di problemi da risolvere. Ad ogni problema e' assegnato un punteggio, espresso in trentesimi, e la prova si ritiene superato se lo studente totalizza almeno 18/30. Il tempo a disposizione e' tra due ore e mezza e tre ore. Al termine della prova scritto, lo studente deve sostenere una breve prova orale per verificare il livello di preparazione e ottenere la votazione finale espressa in trentesimi.