Ψηφιακές Τηλεπικοινωνίες - OPEN

Γίνεται σύνδεση με την προηγούμενη διάλεξη και συγκεκριμένα το θεώρημα κωδικοποίησης πηγής. Στην συνέχεια, παρουσιάζονται οι προθεματικοί κώδικες και ο αλγόριθμος Huffman (μη απωλεστική κωδικοποίηση). Συγκεκριμένα, περιγράφονται τα βασικά χαρακτηριστικά των προθεματικών κωδίκων (όπως ότι είναι μεταβλητού μήκους) και η ιδιότητα της μοναδικής αποκωδικοποιησιμότητας ενώ παρουσιάζονται και κάποια παραδείγματα. Περιγράφεται επίσης η ανισότητα Kraft-McMillan και το διάστημα που κινείται το μέσο μήκος ενός προθεματικού κώδικα. Η έννοια της αποδοτικότητας κώδικα. Ορίζεται η ένοια της Ν-οστής τάξης επέκτασης μιας πηγής και η δυνατότητά της να προσεγγίζει το όριο συμπίεσης της αρχικής πηγής. Παρουσιάζονται τα βήματα του αλγορίθμου Huffman καθώς και ένα σχετικό παράδειγμα. Τέλος, παρουσιάζονται κάποια χαρακτηριστικά του αλγορίθμου.

Άσκηση 1: Μια πηγή με τρία σύμβολα S1, S2 και S3 έχει αντίστοιχες πιθανότητες 0.4, 0.3 και 0.3. Για την πηγή αυτή υπολογίζουμε την εντροπία της. Στη συνέχεια θεωρούμε πως η πηγή αυτή παράγει σύμβολα με ρυθμό 1000 σύμβολα ανά δευτερόλεπτο, και θέλουμε να υπολογίσουμε το μέσο ρυθμό πληροφορίας στην έξοδο της πηγής. Άσκηση 2: Υπολογίζουμε την κωδικοποίηση Huffman για την πηγή της προηγούμενης άσκησης. Υπολογιζουμε επίσης το μέσο μήκος λέξης και την αποδοτικότητα της κωδικοποίησης. Άσκηση 3: Υπολογίζουμε την εντροπία της δεύτερης τάξης επέκτασης της πηγής. Ο ρυθμός συμβόλων της πηγής διαιρείται δια δύο. Υπολογίζουμε την κωδικοποίηση Huffman της επεκταμένης πηγής, καθώς και την αποδοτικότητα της κωωδικοποίησης.

Άσκηση 1: Υπολογίζουμε την εντροπία μιας πηγής (κάμερας), για την οποία γνωρίζουμε τις πιθανότητες τα σύμβολά της να βρίσκονται σε ένα πλήθος από διαστήματα τιμών, και εντός κάθε διαστήματος οι τιμές να είναι σοπίθανές. Στη συνέχεια υπολογίζουμε το ολικό πληροφοριακό περιεχόμενο μιας εικόνας, 500x400 εικονοστοιχείων. Στη συνέχεια, γνωρίζοντας πως η κάμερα παράγει 25 frames ανά δευτερόλεπτο, υπολογίζουμε το συνολικό πληροφοριακό περιεχόμενο. Άσκηση 2: Υπολογίζουμε την εντροπία μιας δυαδικής πηγής (κώδικας Morse), γνωρίζοντας μια σχέση για τις πιθανότητες της τελείας και της παύλας. Στη συνέχεια υπολογίζουμε το ρυθμό της πηγής σε σύμβολα ανά δευτερόλεπτο και έτσι υπολογίζουμε το ρυθμό παραγωγής πληροφορίας στην έξοδο της πηγής. Άσκηση 3: Υπολογίζουμε τη χωρήτικότητα ενός καναλιού με εύρος ζώνης 3000Hz και SNR 10 dB. Στη συνέχεια θεωρούμε μια πηγή με 128 ισοπίθανα σύμβολα, και υπολογίζουμε το μέγιστο ρυθμό (σε σύμβολα ανά δευτερόλεπτο) με τον οποίο μπορούμε να μεταδώσουμε πληροφορία μέσα από αυτό το κανάλι.