Scheda Insegnamento

Information Theory (codice 90821)

Curriculum: Curriculum unico del corso di Telecommunications Engineering - Ingegneria delle Telecomunicazioni
Programmazione per l'A.A.: 2018/2019

Appelli d'esame: Calendario - Prenotazioni
Orari del corso di Telecommunications Engineering - Ingegneria delle Telecomunicazioni: apri

---

Crediti Formativi Universitari (CFU): 9,00
Settore Scientifico Disciplinare (SSD): ING-INF/03
Ambito disciplinare: Ingegneria delle telecomunicazioni
Attività: Attività formative caratterizzanti (B)
Ore aula: 42
Ore laboratorio:15
Ore esercitazioni: 15

---

Canale unico

• Docente: GROSSI EMANUELE

---

Obiettivi:
Il corso si propone di fornire gli elementi basilari della teoria dell'informazione, con particolare attenzione su compressione dati e codifica, e di enfatizzare le connessioni con le tecniche di elaborazione elaborazione e trasmissione dell'informazione affrontate nei precedenti corsi di trasmissione numerica.

Programma:
Informazione e sua misura. Entropia, Divergenza, mutua informazione e loro proprietà. Diseguaglianza di Jensen. Teorema del trattamento dati. Diseguaglianza di Fano. Proprietà di equipartizione asintotica e sue interpretazioni. Tasso entropico. Teorema di Shannon-McMillan-Breiman. Caratterizzazione di sorgenti di Markov. Principio della compressione dati. Codifica di sorgente: codici istantanei e univocamente decifrabili. Diseguaglianza di Kraft. Codici di Huffman, Shannon-Fano-Elias ed aritmetici. Introduzione alla codifica di canale: definizioni, proprietà ed esempi. Capacità di canale e rate di un codice. Sequenze congiuntamente tipiche. II teorema di Shannon (o della capacita di canale). Teorema congiunto della codifica di sorgente e di canale. Metodo dei tipi, codifica universale, algoritmo di Lempel-Ziv. Entropia differenziale, divergenza e mutua informazione per variabili aleatorie continue. Canale Gaussiano e teorema della codifica di canale con vincolo di potenza. Canali Gaussiani paralleli e banda limitati. Canali con feedback. Rate distorsion theory: definizioni e teoremi principali. Rate distorsion function per variabili binarie e gaussiane.

Testi:
Thomas. M. Cover, Joy A. Thomas, "Elements of Information Theory", Wiley, 2006.