Stampa la pagina Condividi su Google Condividi su Twitter Condividi su Facebook Scheda Insegnamento

Information Theory (codice 90857)

Curriculum: ROBOTICA INDUSTRIALE del corso di Ingegneria Informatica - Robotica industriale
Programmazione per l'A.A.: 2019/2020

Appelli d'esame: Calendario - Prenotazioni
Orari del corso di Ingegneria Informatica - Robotica industriale: apri


Crediti Formativi Universitari (CFU): 6,00
Settore Scientifico Disciplinare (SSD): ING-INF/03
Ambito disciplinare: Attività formative affini o integrative
Attività: Attività formative affini ed integrative (C)
Ore aula: 28
Ore laboratorio:10
Ore esercitazioni: 10

Canale unico

Obiettivi:
Il corso si propone di fornire gli elementi basilari della teoria dell'informazione, con particolare attenzione su compressione dati e codifica, e di enfatizzare le connessioni con le tecniche di elaborazione elaborazione e trasmissione dell'informazione affrontate nei precedenti corsi di trasmissione numerica.

Programma:

Testi:

Obiettivi:
Il corso si propone di fornire gli elementi basilari della teoria dell'informazione, con particolare attenzione su compressione dati e codifica, e di enfatizzare le connessioni con le tecniche di elaborazione elaborazione e trasmissione dell'informazione affrontate nei precedenti corsi di trasmissione numerica.

Programma:
Informazione e sua misura. Entropia, Divergenza, mutua informazione e loro proprietà. Diseguaglianza di Jensen. Teorema del trattamento dati. Diseguaglianza di Fano. TProprietà di equipartizione asintotica e sue interpretazioni. Tasso entropico. Teorema di Shannon-McMillan-Breiman. Caratterizzazione di sorgenti di Markov. Principio della compressione dati. Codifica di sorgente: codici istantanei e univocamente decifrabili. Diseguaglianza di Kraft. Codici di Huffman, Shannon-Fano-Elias ed aritmetici. Introduzione alla codifica di canale: definizioni, proprietà ed esempi. Capacità di canale e rate di un codice. Sequenze congiuntamente tipiche. II teorema di Shannon (o della capacita di canale). Teorema congiunto della codifica di sorgente e di canale. Metodo dei tipi, codifica universale, algoritmo di Lempel-Ziv.

Testi:
Thomas. M. Cover, Joy A. Thomas, "Elements of Information Theory", Wiley, 2006


[Ultima modifica: mercoledì 30 novembre 2016]