Μάθημα : Ψηφιακές Τηλεπικοινωνίες - OPEN

Στην παρούσα διάλεξη αρχικά (και σε συνέχεια από την προηγούμενη διάλεξη) περιγράφεται η έννοια της ετεροσυσχέτισης δυο στοχαστικών διαδικασιών ενώ παρουσιάζεται περαιτέρω ο πίνακας αυτοσυσχετίσεων. Εν συνεχεία, η διάλεξη εστιάζει στην θεωρία πληροφορίας και τα θέματα που θα παρουσιαστούν (όπως η αποδοτική κωδικοποίηση πηγής και καναλιού). Περιγράφονται η κωδικοποίηση πηγής και τα είδη πηγών (θέματα δειγματοληψίας) και ορίζεται η πηγή πληροφορίας με διακριτό αλφάβητο καθώς και το μέτρο πληροφορίας.

Η παρούσα διάλεξη ξεκινάει με μια μικρή ανασκόπηση της προηγούμενης διάλεξης. Εν συνεχεία, περιγράφεται η μονάδα μέτρησης της πληροφορίας. Ορίζεται η έννοια της διακριτής πηγής χωρίς μνήμη καθώς και η έννοια της εντροπίας της (μέση πληροφορία). Περιγράφεται το παράδειγμα της δυαδικής πηγής χωρίς μνήμη και η εντροπία της. Ορίζεται η πηγή διακριτού χρόνου, συνεχούς αλφαβήτου και η έννοια της διαφορικής εντροπίας. Παρουσιάζονται τα παραδείγματα πηγών με ομοιόμορφα κατανεμημένα σύμβολα σε ένα διάστημα καθώς και Gaussian κατανεμημένα σύμβολα). Η περίπτωση της πηγής με μνήμη και ο ρυθμός εντροπίας. Το πρόβλημα της κωδικοποίησης μιας πηγής με Μ σύμβολα και οι κώδικες μεταβλητού μήκους.

Παρουσιάζεται το θεώρημα κωδικοποίησης πηγής και εξηγείται τι σημαίνει η παραβίασή του. Περιγράφονται τα κύρια βήματα της απόδειξης του θεωρήματος. Ορίζονται οι έννοιες των τυπικών και μη τυπικών ακολουθιών. Η περίπτωση της ομοιόμορφης πηγής.