© Università degli Studi di Cassino e del Lazio Meridionale
Viale dell'Università - Rettorato - (Campus Universitario)
Loc. Folcara - 03043 CASSINO (FR)
Centralino 0776 2991
Fax 0776 310562
PEC
P.IVA 01730470604
C.F. 81006500607 (5xmille)
Coordinate bancarie: SWIFT BIC: POCAIT3CXXX
IBAN: IT75 B053 7274 3700 0001 0409 621
Scheda Insegnamento
Information Theory (codice 90821)
Curriculum: Curriculum unico del corso di Telecommunications Engineering - Ingegneria delle TelecomunicazioniProgrammazione per l'A.A.: 2018/2019
Appelli d'esame: Calendario - Prenotazioni
Orari del corso di Telecommunications Engineering - Ingegneria delle Telecomunicazioni: apri
Crediti Formativi Universitari (CFU): 9,00
Settore Scientifico Disciplinare (SSD): ING-INF/03
Ambito disciplinare: Ingegneria delle telecomunicazioni
Attività: Attività formative caratterizzanti (B)
Ore aula: 42
Ore laboratorio:15
Ore esercitazioni: 15
Canale unico
Obiettivi:
Il corso si propone di fornire gli elementi basilari della teoria dell'informazione, con particolare attenzione su compressione dati e codifica, e di enfatizzare le connessioni con le tecniche di elaborazione elaborazione e trasmissione dell'informazione affrontate nei precedenti corsi di trasmissione numerica.
Programma:
Informazione e sua misura. Entropia, Divergenza, mutua informazione e loro proprietà. Diseguaglianza di Jensen. Teorema del trattamento dati. Diseguaglianza di Fano. Proprietà di equipartizione asintotica e sue interpretazioni. Tasso entropico. Teorema di Shannon-McMillan-Breiman. Caratterizzazione di sorgenti di Markov. Principio della compressione dati. Codifica di sorgente: codici istantanei e univocamente decifrabili. Diseguaglianza di Kraft. Codici di Huffman, Shannon-Fano-Elias ed aritmetici. Introduzione alla codifica di canale: definizioni, proprietà ed esempi. Capacità di canale e rate di un codice. Sequenze congiuntamente tipiche. II teorema di Shannon (o della capacita di canale). Teorema congiunto della codifica di sorgente e di canale. Metodo dei tipi, codifica universale, algoritmo di Lempel-Ziv. Entropia differenziale, divergenza e mutua informazione per variabili aleatorie continue. Canale Gaussiano e teorema della codifica di canale con vincolo di potenza. Canali Gaussiani paralleli e banda limitati. Canali con feedback. Rate distorsion theory: definizioni e teoremi principali. Rate distorsion function per variabili binarie e gaussiane.
Testi:
Thomas. M. Cover, Joy A. Thomas, "Elements of Information Theory", Wiley, 2006.