Ψηφιακές Τηλεπικοινωνίες - OPEN

Σύνδεση με τα προηγούμενα. Βέλτιστος δέκτης. Yποσυστήματα βέλτιστου δέκτη: αποδιαμορφωτής-φωρατής. Λειτουργία αποδιαμορφωτή συσχέτισης. Διανυσματική αναπαράσταση εξόδου αποδιαμορφωτή. Επάρκεια των προβολών. Αποδιαμορφωτής προσαρμοσμένου φίλτρου. Λειτουργία προσαρμοσμένου φίλτρου. Φωρατής. Βελτιστος κανόνας απόφασης. Κριτήριο μέγιστης εκ των υστέρων πιθανότητας (MAP). Κριτήριο μέγιστης πιθανοφάνειας (ML). Σχέση κριτηρίων MAP-ML. Πιθανότητα σφάλματος δυαδικής διαμόρφωσης PAM.

Αρχικά, στην διάλεξη αυτή, πραγματοποιείται μια σύνδεση με σχετικά μαθήματα του προγράμματος σπουδών του τμήματος Μηχανικών Η/Υ και Πληροφορικής αλλά και πιο συγκεκριμένα του Εργ. Επεξεργασίας Σημάτων και Τηλεπικοινωνιών. Στην συνέχεια, παρουσιάζεται μια ιστορική επισκόπηση από την γέννηση των τηλεπικοινωνιών έως και σήμερα.Η διάλεξη ολοκληρώνεται με την περιγραφή των Φρυκτωριών (αρχαίο ψηφιακό σύστημα επικοινωνιών).

Στην διάλεξη αυτή περιγράφεται το αντικείμενο των ψηφιακών τηλεπικοινωνιών.
Παρουσιάζονται τα είδη τους με βάση διάφορες διακρίσείς όπως το είδος της
πληροφορίας που θέλουμε να αποστείλουμε, οι σχεδιαστικές προκλήσεις, η αναπαράσταση
της πληροφορίας και τα είδη των σημάτων που χρησιμοποιούνται (αναλογικά, διακριτά
και ψηφιακά σήματα). Στην συνέχεια, περιγράφεται ένα γενικό μεοντέλο ενός τηλεπικοινωνιακού
συστήματος (Πηγή, Πομπός, Κανάλι, Δέκτης, Έξοδος). Αναφέρονται κάποια κριτήρια απόδοσης
για αναλογικά (πιστότητα) και ψηφιακά (πιθανότητα σφάλματος) συστήματα επικοινωνιών και
ποιες είναι οι διαφορές τους. Περιγράφονται οι θεμελιώδεις περιορισμοί στον ρυθμό μετάδοσης
δεδομένων και παρουσιάζεται μια βασική σχέση για την χωρητικότητα. Η διάλεξη ολοκληρώνεται
με την περιγραφή της βασικής δομής ενός ψηφιακού τηλεπικοινωνιακού συστήματος (Πηγή, Κωδικοποιητές
Πηγής και Καναλιού, Διαφορφωτής κ.λπ.).

Στην διάλεξη αυτή, περιγράφανται με μεγαλύτερη λεπτομέρεια τα βασικά τμήματα ενός ψηφιακού τηλεπικοινωνιακού
συστήματος. Περιγράφεται η έννοια της πηγής και δίνονται κάποια παραδείγματα. Μετά, περιγράφεται
ο κωδικοποιητής πηγής (αποδοτική δυαδική αναπαράσταση) και τα βασικά του χαρακτηριστικά καθώς και
ο κωδικοποιητής καναλιού (εισαγωγή πλεονασμού) με τα βασικά του χαρακτηριστικά. Τέλος, δίνοται
πληροφορίες για τα φίλτρα πομπού/δέκτη και περιγράφεται η έννοια του διαμορφωτή.

Συνεχίζεται η περιγραφή του διαμορφωτή (από την προηγούμενη διάλεξη) στην
περίπτωση των ψηφιακών συστημάτων. Περιγράφονται βασικές κατηγορίες
ψηφιακής διαμόρφωσης (αλλαγή πλάτους, αλλαγή συχνότητας, αλλαγή φάσης).
Ακολούθως, παρουσιάζεται ένα πιο αναλυτικό μοντέλο ενός ψηφιακού συστήματος
(όπου εισάγονται οι έννοιες του ισοσταθμιστή και της λήψης αποφάσεων).
Περιγράφεται επίσης η έννοια του καναλιού και τα βασικά προβλήματα που
συνδέονται με αυτό (για την μετάδοση πληροφορίας μέσω αυτού) όπως
το περιορισμένο εύρος ζώνης, τις παραμορφώσεις πλάτους και φάσης, τον
θόρυβο (το παράδειγμα του λευκού θορύβου), την πολύδρομη μετάδοση και την χρονική μεταβολή.

Σύνδεση με τα προηγούμενα και συγκεκριμένα αναφέρεται η περίπτωση των ζωνοπεριορισμένων καναλιών και ο κατάλληλος σχεδιασμός του εκπεμπόμενου σήματος. Επίσης, περιγράφεται η έννοια της διασυμβολικής παρεμβολής και η επίδρασή της καθώς και η αντιμετώπισή της σύμφωνα με την Συνθήκη του Nyquist. Παρουσιάζονται οι περιπτώσεις ικανοποίησης ή μη της συνθήκης ανάλογα με την σχέση μεταξύ του εύρους ζώνης του σήματος που θα μεταδοθεί και του εύρους ζώνης του καναλιού. Ο παλμός sinc και τα προβλήματά του. Ο παλμός ανυψωμένου συνημιτόνου και τα βασικά του χαρακτηριστικά. Η περίπτωση του ιδανικού καναλιού και η τετραγωνική ρίζα του παλμού ανυψωμένου συνημιτόνου. Η περίπτωση ενός μη ιδανικού (πραγματικού) καναλιού και πως αντιμετωπίζεται η διασυμβολική παρεμβολή ανάλογα με το αν γνωρίζουμε την κρουστική απόκριση του καναλιού (και άρα χρησιμοποιώντας απευθείας την πληροφορία αυτή) ή όχι (καταλήγοντας στην χρήση ισοσταθμιστών).

Στην παρούσα διάλεξη αρχικά (και σε συνέχεια από την προηγούμενη διάλεξη) περιγράφεται η έννοια της ετεροσυσχέτισης δυο στοχαστικών διαδικασιών ενώ παρουσιάζεται περαιτέρω ο πίνακας αυτοσυσχετίσεων. Εν συνεχεία, η διάλεξη εστιάζει στην θεωρία πληροφορίας και τα θέματα που θα παρουσιαστούν (όπως η αποδοτική κωδικοποίηση πηγής και καναλιού). Περιγράφονται η κωδικοποίηση πηγής και τα είδη πηγών (θέματα δειγματοληψίας) και ορίζεται η πηγή πληροφορίας με διακριτό αλφάβητο καθώς και το μέτρο πληροφορίας.

Η παρούσα διάλεξη ξεκινάει με μια μικρή ανασκόπηση της προηγούμενης διάλεξης. Εν συνεχεία, περιγράφεται η μονάδα μέτρησης της πληροφορίας. Ορίζεται η έννοια της διακριτής πηγής χωρίς μνήμη καθώς και η έννοια της εντροπίας της (μέση πληροφορία). Περιγράφεται το παράδειγμα της δυαδικής πηγής χωρίς μνήμη και η εντροπία της. Ορίζεται η πηγή διακριτού χρόνου, συνεχούς αλφαβήτου και η έννοια της διαφορικής εντροπίας. Παρουσιάζονται τα παραδείγματα πηγών με ομοιόμορφα κατανεμημένα σύμβολα σε ένα διάστημα καθώς και Gaussian κατανεμημένα σύμβολα). Η περίπτωση της πηγής με μνήμη και ο ρυθμός εντροπίας. Το πρόβλημα της κωδικοποίησης μιας πηγής με Μ σύμβολα και οι κώδικες μεταβλητού μήκους.

Η διάλεξη ξεκινάει με μια αναφορά σε ένα μειονέκτημα του αλγορίθμου Huffman. Στην συνέχεια, παρουσιάζεται το πρόβλημα της κωδικοποίησης καναλιού και τα ερωτήματα που μπορεί να απαντήσει. Παρουσιάζεται ένα βασικό σύστημα επικοινωνίας και περιγράφονται τρόποι διάκρισης των καναλιών μετάδοσης. Ορίζονται τα διακριτά κανάλια χωρίς μνήμη και δίνεται ένα παράδειγμα. Περιγράφονται οι πιθανότητες μετάβασης, οι από κοινού πιθανότητες εισόδου/εξόδου, οι πιθανότητες σφάλματος και παρουσιάζεται ένα παράδειγμα κατανόησης των παραπάνω.

Παρουσιάζεται το θεώρημα κωδικοποίησης πηγής και εξηγείται τι σημαίνει η παραβίασή του. Περιγράφονται τα κύρια βήματα της απόδειξης του θεωρήματος. Ορίζονται οι έννοιες των τυπικών και μη τυπικών ακολουθιών. Η περίπτωση της ομοιόμορφης πηγής.

Γίνεται σύνδεση με την προηγούμενη διάλεξη και συγκεκριμένα το θεώρημα κωδικοποίησης πηγής. Στην συνέχεια, παρουσιάζονται οι προθεματικοί κώδικες και ο αλγόριθμος Huffman (μη απωλεστική κωδικοποίηση). Συγκεκριμένα, περιγράφονται τα βασικά χαρακτηριστικά των προθεματικών κωδίκων (όπως ότι είναι μεταβλητού μήκους) και η ιδιότητα της μοναδικής αποκωδικοποιησιμότητας ενώ παρουσιάζονται και κάποια παραδείγματα. Περιγράφεται επίσης η ανισότητα Kraft-McMillan και το διάστημα που κινείται το μέσο μήκος ενός προθεματικού κώδικα. Η έννοια της αποδοτικότητας κώδικα. Ορίζεται η ένοια της Ν-οστής τάξης επέκτασης μιας πηγής και η δυνατότητά της να προσεγγίζει το όριο συμπίεσης της αρχικής πηγής. Παρουσιάζονται τα βήματα του αλγορίθμου Huffman καθώς και ένα σχετικό παράδειγμα. Τέλος, παρουσιάζονται κάποια χαρακτηριστικά του αλγορίθμου.

Απωλεστική (lossy) συμπίεση πληροφορίας. Ερώτημα: Ποιά είναι η σχέση που συνδέει το ρυθμό
κωδικοποίησης μιας πηγής με την παραμόρφωση που θα εισαχθεί; Μετρικές παραμόρφωσης: Hamming,
τετραγωνικό σφάλμα, μέση παραμόρφωση. Αναμενόμενη τιμή της παραμόρφωσης. Η αναμενόμενη τιμή
της παραμόρφωσης όταν η μετρική που χρησιμοποιούμε είναι η απόσταση Hamming, ταυτίζεται με την
πιθανότητα σφάλματος. Θεώρημα ρυθμού-παραμόρφωσης. Συνάρτηση ρυθμού-παραμόρφωσης για
δυαδική πηγή και μετρική παραμόρφωσης Hamming. Συνάρτηση ρυθμού-παραμόρφωσης για συνεχή
πηγή Gauss και μέση τετραγωνική παραμόρφωση. Η χρήση ενός παραπάνω δυαδικού ψηφίου για την
κωδικοποίηση μιας συνεχούς πηγής Gauss οδηγεί σε υποτετραπλασιασμό της μέσης τετραγωνικής
παραμόρφωσης.

Σχεδιασμός & ιδιότητες κυματομορφών σήματος. Γεωμετρική αναπαράσταση κυματομορφών σήματος. Ορισμός, ιδιότητες και κατασκευή ορθοκανονικής βάσης συναρτήσεων. Παρουσίαση της ορθογωνοποίησης Gram-Schmidt. Παραδείγματα.

Θεώρημα δειγματοληψίας. Δειγματοληψία ζωνοπεριορισμένων ντετερμινιστικών σημάτων και
ακριβής ανακατασκευή τους. Δειγματοληψία στοχαστικών σημάτων - φάσμα ισχύος.
Ακριβής ανακατασκευή με την έννοια της μηδενικής αναμενόμενης τιμής για το μέσο
τετραγωνικό σφάλμα. Συμπιεσμένη δειγματοληψία (compressed sampling). Βαθμωτοί και
διανυσματικοί κβαντιστές. Συνάρτηση κβάντισης για έναν βαθμωτό
κβαντιστή. Θόρυβος κβάντισης. Δυναμική περιοχή.

Ομοιόμορφη κβάντιση. Υπολογισμός της μέσης παραμόρφωσης για έναν ομοιόμορφο
κβαντιστή. Πρόβλημα σχεδίασης ομοιόμορφου κβαντιστή. Παράδειγμα για μια
πηγή Gauss και σύγκριση της παραμόρφωσης με την παραμόρφωση που προβλέπει
το θεώρημα ρυθμού παραμόρφωσης. Συνθήκες βέλτιστου για το σχεδιασμό ενός
μη ομοιόμορφου κβαντιστή (Συνθήκες Lloyd-Max).

Συνθήκες Lloyd-Max για το σχεδιασμό ενός μη ομοιόμορφου κβαντιστή.
Επαναληπτικός αλγόριθμος Lloyd-Max για το σχεδιασμό ενός μη ομοιόμορφου
κβαντιστή. Εφαρμογή ενός μη ομοιόμορφου κβαντιστή στην περίπτωση μιας
πηγής Gauss και σύγκριση της παραμόρφωσης με την παραμόρφωση που προβλέπει
το θεώρημα ρυθμού παραμόρφωσης. Διανυσματικός κβαντιστής.
Γενίκευση των συνθηκών Lloyd-Max σε διανυσματικούς κβαντιστές.
Κωδικοποιητές ανάλυσης - σύνθεσης.

Η διάλεξη ξεκινάει με κάποια εισαγωγικά στοιχεία γύρω από τα μαθηματικά
μοντέλα καναλιών (π.χ. πως προέκυψαν). Αρχικά, παρουσιάζεται το μοντέλο
προσθετικού θορύβου όπου υιοθετείται ο λευκός Gaussian θόρυβος και παρουσιάζονται
οι βασικές ιδιότητές του, δυο κύριοι λόγοι χρήσης του και κάποιες επιπλέον
εκδοχές του. Στην συνέχεια, περιγράφεται το μοντέλο γραμμικού φίλτρου. Δίνονται
κάποιες πληροφορίες για τα μη γραμμικά μοντέλα (το παράδειγμα των δορυφορικών
επικοινωνιών). Εν συνεχεία, παρουσιάζεται το μοντέλο χρονικά μεταβαλλόμενου γραμμικού
φίλτρου. Η διάλεξη ολοκληρώνεται με την περιγραφή του παραμετρικού μοντέλου.

Ψηφιακή μετάδοση σήματος σε ζωνοπερατό κανάλι AWGN. Το Κανάλι ως γραμμικό φίλτρο. Μετάδοση παλμού μέσα από ζωνοπερατό κανάλι, Παράδειγμα μετάδοσης M-PAM. Βασικό δομικό διάγραμμα μετάδοσης σήματος, φαινόμενο διασυμβολικής παρεμβολής.

Σύνδεση με τα προηγούμενα. Ψηφιακή μετάδοση σήματος σε ζωνοπερατό κανάλι AWGN. Σχεδιασμός για μηδενική διασυμβολική παρεμβολή. Συνθήκη Nyquist για μηδενική διασυμβολική παρεμβολή. Εύρος ζώνης σήματος.

Στην παρούσα διάλεξη ορίζεται η έννοια της τυχαίας διαδικασίας είτε ως σύνολο συναρτήσεων είτε ως μια ακολουθία τυχαίων μεταβλητών. Ορίζονται επίσης η μέση τιμή και διασπορά καθώς και η συνάρτηση αυτοσυσχέτισης. Τέλος, περιγράφεται η έννοια της ισχυρής στασιμότητας.

Περιγράφεται η ύπαρξη στοχαστικών σημάτων στις ψηφιακές τηλεπικοινώνιες
και συνδέεται η ύπαρξή τους με την έννοια του θορύβου. Συζητούνται οι
έννοιες των ντετερμινιστικών και στοχαστικών ποσοτήτων. Περιγράφεται
η έννοια των τυχαίων μεταβλητών και των στοχαστικών διαδικασιών. Χρησιμοποιείται
το παράδειγμα του συνημιτόνου και της θερμοκρασίας για καλύτερη κατανόηση. Η
στοχαστική διαδικασία ως σύνολο συναρτήσεων και ως μια ακολουθία τυχαίων
μεταβλητών. Περιγράφεται τι πληροφορία χρειάζεται για την πλήρη περιγραφή μιας στοχαστικής
διαδικασίας (η απο-κοινού συνάρτηση πυκνότητας πιθανότητας).

Στην παρούσα διάλεξη ορίζονται η στασιμότητα τάξης Μ, και η ασθενής στασιμότητα. Για την δεύτερη περίπτωση, παρουσιάζονται επίσης κάποιες βασικές ιδιότητες, συγκεκριμένα, η άρτια συμμετρία, η μέγιστη τιμή και η περιοδικότητα. Επίσης, ορίζονται οι εργοδικές τυχαίες διαδικασίες καθώς και η εργοδικότητα πρώτης και δεύτερης τάξης. Τέλος, παρουσιάζεται το φιλτράρισμα μιας τυχαίας διαδικασίας και η σχέση εισόδου-εξόδου που προκύπτει όταν το φίλτρο είναι γραμμικό και χρονικά αμετάβλητο ως προς την μέση τιμή και την συνάρτηση αυτοσυσχέτισης.

Στην παρούσα διάλεξη καταρχήν υπενθυμίζονται κάποια από τα είδη στοχαστικών διαδικασιών που παρουσιάστηκαν στο προηγούμενο μάθημα με έμφαση στις εργοδικές διαδικασίες. Στην συνέχεια, περιγράφεται ο πίνακας αυτοσυσχετίσεων. Ορίζεται η πυκνότητα φάσματος ισχύος (και γίνεται μια αντιστοίχιση με τα ντετερμινιστικά σήματα και το πεδίο των συχνοτήτων). Περιγράφεται η εκτίμηση της πυκνότητας φάσματος ισχύος στις περιπτώσεις των ασθενώς στάσιμων και των εργοδικών διαδικασιών (αναφορά στην έννοια ενός αμερόληπτου εκτιμητή). Τέλος, συνδέονται οι πυκνότητες φάσματος ισχύος των στοχαστικών διαδικασιών εισόδου/εξόδου ενός γραμμικού, χρονικά αμετάβλητου φίλτρου.

Στην παρούσα διάλεξη περιγράφεται η έννοια του καναλιού. Παρουσιάζονται
τα βασικά προβλήματα που εισάγει ένα κανάλι όπως το περιορισμένο εύρος
ζώνης, οι παραμορφώσεις πλάτους και φάσης, ο θόρυβος, η πολύδρομη μετάδοση
και η χρονική μεταβολή. Εν συνεχεία, γίνεται αναφορά στους τύπους καναλιών
όπως τα ενσύρματα, π.χ. συνεστραμμένου ζεύγους και ομοαξονικά, (με αναφορά
στην τεχνολογία DSL και στο φαινόμενο crosstalk), οι κυματοδηγοί και οι οπτικές ίνες
(χαρακτηριστικά απόσβεσης). Παρουσιάζονται επίσης τα εύρη ζώνης στις οποίες λειτουργούν
τα ενσύρματα κανάλια. Επίσης, περιγράφονται τα ασύρματα κανάλια, τα υποβρύχια ακουστικά
κανάλια (και το πρόβλημα με το ηλεκτρομαγνητικό φάσμα), τα κανάλια αποθήκευσης και άλλα
όπως τα power lines.

Σε συνέχεια της προηγούμενης διάλεξης, παρουσιάζονται τα βασικά εύρη ζώνης των
ασύρματων καναλιών και περιγράφεται μια βασική σχέση για την λαμβανόμενη ισχύ
καθώς και οι βασικοί παράμετροι στους οποίους βασίζεται (π.χ. το κέρδος κεραίας
εκπομπής και λήψης). Ακολούθως, παρουσιάζονται διάφοροι μηχανισμοί διάδοσης ενός
κύματος (π.χ. κυματοδήγηση μεταξύ εδάφους-ιονόσφαιρας, εδαφικό κύμα και κύμα χώρου)
καθώς και μηχανισμοί διάδοσης που χρησιμοποιούνται στις κινητές επικοινωνίες (π.χ. ανάκλαση,
περίθλαση, σκέδαση). Η διάλεξη ολοκληρώνεται με την περιγραφή των κύριων παραγόντων υποβάθμισης που
εμφανίζονται κατά την ασύρματη διάδοση (η περίπτωση της εξασθένησης λόγω βροχόπτωσης).

Προκειμένου να απαντηθεί το ερώτημα αν είναι δυνατόν να έχουμε μετάδοση χωρίς σφάλματα μέσα από ένα κανάλι που εισάγει θόρυβο, εξετάζουμε τη μετάδοση μιας δυαδικής πηγής μέσα από ένα δυαδικό συμμετρικό και χωρίς μνήμη κανάλι. Για τη μελέτη μας αυτή, υπενθυμίζουμε τον ορισμό της εντροπίας και εισάγουμε τις έννοιες της από κοινού (συνδυασμένης) και της υπό συνθήκη εντροπίας. Στη συνέχεια, δίνεται η έννοια της αμοιβαίας πληροφορίας και γίνεται μια σύνδεσή της με τη μελέτη του καναλιού που μας ενδιαφέρει. Τέλος, ορίζεται η χωρητικότητα ενός καναλιού ως η μέγιστη τιμή της αμοιβαίας πληροφορίας για όλες τις δυνατές κατανομές εισόδου.

Ο υπολογισμός της χωρητικότητας ενός διακριτού καναλιού χωρίς μνήμη απαιτεί την μεγιστοποίηση μιας συνάρτησης (συνήθως) πολλών μεταβλητών, και μάλιστα υπό περιορισμούς. Για το λόγο αυτό, σπάνια μπορούμε να καταλήξουμε σε κλειστές εκφράσεις που δίνουν τη χωρητικότητα διακριτών καναλιών. Ως ένα παράδειγμα, κλειστή μορφή μπορούμε να βρούμε για τη χωρητικότητα του δυαδικού συμμετρικού καναλιού χωρίς μνήμη. Σε κάθε περίπτωση, το δεύτερο θεώρημα του Shannon μας δίνει τη συνθήκη για μετάδοση χωρίς σφάλματα από ένα κανάλι. Για την περίπτωση ενός συνεχούς ζωνοπεριορισμένου καναλιού που εισάγει λευκό προσθετικό θόρυβο κανονικής κατανομής (Gauss), το θεώρημα Shannon Hartley μας δίνει με κλειστό τύπο τη χωρητικότητά του. Τον τύπο αυτό μπορούμε να τον εκφράσουμε και συναρτήσει της πυκνότητας φάσματος ισχύος του θορύβου. Η χωρητικότητα αυτή αποτελεί και ένα άνω φράγμα της χωρητικότητας για το διακριτό κανάλι που περιλαμβάνει το εξεταζόμενο συνεχές κανάλι ως μέρος του. Ακολουθεί ένα παράδειγμα το οποίο παρουσιάζει την ανταλλαγή (trade off) ανάμεσα στην ισχύ μετάδοσης και το εύρος ζώνης, με μια ενδιαφέρουσα σύγκριση ανάμεσα στις αναλογικές και τις ψηφιακές επικοινωνίες.

Ψηφιακή διαμόρφωση. Διαμόρφωση παλμών κατά πλάτος. Χαρακτηριστικά παλμού βασικής ζώνης. Δυαδικό & Μ-αδικό PAM, μετάδοση σήματος M-PAM σε ζωνοπερατό κανάλι, ενέργεια ζωνοπερατού M-PAM. Γεωμετρική αναπαράσταση PAM βασικής ζώνης.

Σύνδεση με τα προηγούμενα (Γεωμετρική αναπαράσταση PAM βασικής ζώνης). Δισδιαστατες Κυματομορφές Σήματος, Δισδιάστατα σήματα βασικής ζώνης, Μ-αδικά δισδιάστατα σήματα. Παραδείγματα. Δισδιάστατα ζωνοπερατά σήματα. Ενέργεια Μ-αδικών ζωνοπερατών δισδιάστατων σημάτων. Ολίσθηση στη φάση φέροντος.

Ψηφιακή διαμόρφωση μεταλλαγής ολίσθησης φάσης (PSK). Διατάξεις QPSK. Παράδειγμα ζωνοπερατού σήματος QPSK. Μετασχηματισμοί PSK. Γεωμετρική αναπαράσταση M-PSK. Αστερισμοί σημάτων M-PSK. Κωδικοποίηση σημείων M-PSK, κωδικοποίηση Gray. Αποστάσεις σημείων M-PSK. Ορθογώνια διαμόρφωση κατά πλάτος (Μ-QAM).Γεωμετρική αναπαράσταση & αστερισμοί M-QAM.

Σύνδεση με τα προηγούμενα (PAM, PSK, QAM). Ψηφιακή διαμόρφωση πολυδιάστατων χώρων. Διαμόρφωση παλμών κατά θέση (PPM). Γεωμετρική αναπαράσταση PPM. Πολυδιάστατα ορθογωνια ζωνοπερατά σήματα. Μεταλλαγή ολίσθησης συχνότητας (FSK). Δυαδικό FSK. Μ-αδικό FSK. Συντελεστής διασυσχέτισης κυματομορφών. Ορθογωνιότητα & συνέχεια φάσης κυματομορφών.

Άσκηση 1: Μια πηγή με τρία σύμβολα S1, S2 και S3 έχει αντίστοιχες
πιθανότητες 0.4, 0.3 και 0.3. Για την πηγή αυτή υπολογίζουμε την
εντροπία της. Στη συνέχεια θεωρούμε πως η πηγή αυτή παράγει σύμβολα με ρυθμό 1000
σύμβολα ανά δευτερόλεπτο, και θέλουμε να υπολογίσουμε το μέσο ρυθμό
πληροφορίας στην έξοδο της πηγής.

Άσκηση 2: Υπολογίζουμε την κωδικοποίηση Huffman για την πηγή της
προηγούμενης άσκησης. Υπολογιζουμε επίσης το μέσο μήκος λέξης και την
αποδοτικότητα της κωδικοποίησης.

Άσκηση 3: Υπολογίζουμε την εντροπία της δεύτερης τάξης επέκτασης της πηγής.
Ο ρυθμός συμβόλων της πηγής διαιρείται δια δύο. Υπολογίζουμε την
κωδικοποίηση Huffman της επεκταμένης πηγής, καθώς και την αποδοτικότητα της
κωωδικοποίησης.

Άσκηση 1: Υπολογίζουμε την εντροπία μιας πηγής (κάμερας), για την οποία γνωρίζουμε τις πιθανότητες τα σύμβολά της να βρίσκονται σε ένα πλήθος από διαστήματα τιμών, και εντός κάθε διαστήματος οι τιμές να είναι σοπίθανές. Στη συνέχεια υπολογίζουμε το ολικό πληροφοριακό περιεχόμενο μιας εικόνας, 500x400 εικονοστοιχείων. Στη συνέχεια, γνωρίζοντας πως η κάμερα παράγει 25 frames ανά δευτερόλεπτο, υπολογίζουμε το συνολικό πληροφοριακό περιεχόμενο. Άσκηση 2: Υπολογίζουμε την εντροπία μιας δυαδικής πηγής (κώδικας Morse), γνωρίζοντας μια σχέση για τις πιθανότητες της τελείας και της παύλας. Στη συνέχεια υπολογίζουμε το ρυθμό της πηγής σε σύμβολα ανά δευτερόλεπτο και έτσι υπολογίζουμε το ρυθμό παραγωγής πληροφορίας στην έξοδο της πηγής. Άσκηση 3: Υπολογίζουμε τη χωρήτικότητα ενός καναλιού με εύρος ζώνης 3000Hz και SNR 10 dB. Στη συνέχεια θεωρούμε μια πηγή με 128 ισοπίθανα σύμβολα, και υπολογίζουμε το μέγιστο ρυθμό (σε σύμβολα ανά δευτερόλεπτο) με τον οποίο μπορούμε να μεταδώσουμε πληροφορία μέσα από αυτό το κανάλι.

Άσκηση 1: Σε ένα δυαδικό συμμετρικό κανάλι εισέρχονται σύμβολα με ρυθμό 1000 σύμβολα ανά δευτερόλεπτο. Τα σύμβολα είναι ισοπίθανα. Για τις περιπτώσεις όπου η πιθανότητα σωστής μετάδοσης p ενός συμβόλου μέσα από το κανάλι, p=0.9, p=0.8 και p=0.6, υπολογίζουμε το ρυθμό μετάδοσης πληροφορίας μέσα από το κανάλι. Ο ζητούμενος ρυθμός δίνεται ως το γινόμενο της αμοιβαίας πληροφορίας με το ρυθμό της εισόδου σε σύμβολα ανά δευτερόλεπτο. Υπολογίζουμε την αμοιβαία πληροφορία μέσω της εντροπίας της πηγής και της υπό συνθήκη εντροπίας της εισόδου για δεδομένη έξοδο. Υπολογίζουμε τις από κοινού πιθανότητες εισόδου εξόδου μέσω του κανόνα του Bayes. Υπολογίζουμε τις υπό συνθήκη πιθανότητες χρησιμοποιώντας τον κανόνα της αλυσίδας. Άσκηση 2: Υπολογίζουμε τη χωρητικότητα ενός δυαδικού συμμετρικού καναλιού χωρίς μνήμη. Η χωρητικότητα δίνεται ως η μέγιστη τιμή της αμοιβαίας πληροφορίας ως προς όλες τις πιθανές κατανομές πιθανοτήτων των συμβόλων εισόδου. Η μεγιστοποίηση γίνεται θέτωντας την πρώτη παράγωγο της συνάρτησης την οποία μελετάμε ίση με το μηδέν.

Άσκηση 1: Μια πηγή μπορεί να παράγει δύο σύμβολα, x1 και x2. Τα σύμβολα αυτά μεταδίδονται μέσα από ένα κανάλι το οποίο αντιστοιχίζει το x1 με πιθανότητα 1/2 στο y1, το x1 με πιθανότητα 1/2 στο y2 και τέλος το x2 στο σύμβολο εξόδου y3 με πιθανότητα 1. Υπολογίζουμε τη χωρητικότητα του καναλιού αυτού μέσω της μεγιστοποίησης της αμοιβαίας πληροφορίας ως προς όλες τις κατανομές πιθανοτήτων για τα σύμβολα εισόδου. Η αμοιβαία πληροφορία υπολογίζεται χρησιμοποιώντας την εντροπία της πηγής και την υπό συνθήκη εντροπία της εισόδου για δοσμένη έξοδο. Άσκηση 2: Μας δίνεται μια από κοινού συνάρτηση πυκνότητας πιθανότητας δύο τυχαίων μεταβλητών X και Y, η οποία εξαρτάται από μια άγνωστη παράμετρο K. Χρησιμοποιώντας την ιδιότητα πως το ορισμένο ολοκλήρωμα μιας συνάρτησης πυκνότητας πιθανότητας σε όλο το πεδίο ορισμού της θα πρέπει να είναι μονάδα, υπολογίζουμε την τιμή της παραμέτρου K. Άσκηση 3: Πρέπει να δείξουμε πως η τυχαία μεταβλητή X είναι κανονική. Για να υπολογίσουμε την συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής X γνωρίζοντας την από κοινού συνάρτηση πυκνότητας πιθανότητας των X και Y, υπολογίζουμε το ορισμένο ολοκλήρωμα της από κοινού pdf πάνω στο πεδίο ορισμού της Y. Υπολογίζοντας την έκφραση που προκύπτει, αναγνωρίζουμε πως έχει τη μορφή μιας κανονικής pdf με μέση τιμή 0 και διασπορά 1. Άσκηση 4: Πρέπει να εξετάσουμε αν οι X και Y είναι ανεξάρτητες. Θα εξετάσουμε αν η από κοινού pdf είναι ίση με το γινόμενο των επιμέρους pdf. Εύκολα παρατηρούμε πως όταν οι τυχαίες μεταβλητές X και Y έχουν αντίθετα πρόσημα, τότε η απο κοινού pdf είναι μηδέν. Όμως, το γινόμενο των επιμέρους pdf δεν είναι μηδέν στις περιοχές αυτές. Επομένως οι τυχαίες μεταβλητές δεν είναι ανεξάρτητες.