Ψηφιακές Τηλεπικοινωνίες - OPEN

Άσκηση 1: Μια πηγή με τρία σύμβολα S1, S2 και S3 έχει αντίστοιχες
πιθανότητες 0.4, 0.3 και 0.3. Για την πηγή αυτή υπολογίζουμε την
εντροπία της. Στη συνέχεια θεωρούμε πως η πηγή αυτή παράγει σύμβολα με ρυθμό 1000
σύμβολα ανά δευτερόλεπτο, και θέλουμε να υπολογίσουμε το μέσο ρυθμό
πληροφορίας στην έξοδο της πηγής.

Άσκηση 2: Υπολογίζουμε την κωδικοποίηση Huffman για την πηγή της
προηγούμενης άσκησης. Υπολογιζουμε επίσης το μέσο μήκος λέξης και την
αποδοτικότητα της κωδικοποίησης.

Άσκηση 3: Υπολογίζουμε την εντροπία της δεύτερης τάξης επέκτασης της πηγής.
Ο ρυθμός συμβόλων της πηγής διαιρείται δια δύο. Υπολογίζουμε την
κωδικοποίηση Huffman της επεκταμένης πηγής, καθώς και την αποδοτικότητα της
κωωδικοποίησης.

Άσκηση 1: Υπολογίζουμε την εντροπία μιας πηγής (κάμερας), για την οποία γνωρίζουμε τις πιθανότητες τα σύμβολά της να βρίσκονται σε ένα πλήθος από διαστήματα τιμών, και εντός κάθε διαστήματος οι τιμές να είναι σοπίθανές. Στη συνέχεια υπολογίζουμε το ολικό πληροφοριακό περιεχόμενο μιας εικόνας, 500x400 εικονοστοιχείων. Στη συνέχεια, γνωρίζοντας πως η κάμερα παράγει 25 frames ανά δευτερόλεπτο, υπολογίζουμε το συνολικό πληροφοριακό περιεχόμενο. Άσκηση 2: Υπολογίζουμε την εντροπία μιας δυαδικής πηγής (κώδικας Morse), γνωρίζοντας μια σχέση για τις πιθανότητες της τελείας και της παύλας. Στη συνέχεια υπολογίζουμε το ρυθμό της πηγής σε σύμβολα ανά δευτερόλεπτο και έτσι υπολογίζουμε το ρυθμό παραγωγής πληροφορίας στην έξοδο της πηγής. Άσκηση 3: Υπολογίζουμε τη χωρήτικότητα ενός καναλιού με εύρος ζώνης 3000Hz και SNR 10 dB. Στη συνέχεια θεωρούμε μια πηγή με 128 ισοπίθανα σύμβολα, και υπολογίζουμε το μέγιστο ρυθμό (σε σύμβολα ανά δευτερόλεπτο) με τον οποίο μπορούμε να μεταδώσουμε πληροφορία μέσα από αυτό το κανάλι.

Άσκηση 1: Σε ένα δυαδικό συμμετρικό κανάλι εισέρχονται σύμβολα με ρυθμό 1000 σύμβολα ανά δευτερόλεπτο. Τα σύμβολα είναι ισοπίθανα. Για τις περιπτώσεις όπου η πιθανότητα σωστής μετάδοσης p ενός συμβόλου μέσα από το κανάλι, p=0.9, p=0.8 και p=0.6, υπολογίζουμε το ρυθμό μετάδοσης πληροφορίας μέσα από το κανάλι. Ο ζητούμενος ρυθμός δίνεται ως το γινόμενο της αμοιβαίας πληροφορίας με το ρυθμό της εισόδου σε σύμβολα ανά δευτερόλεπτο. Υπολογίζουμε την αμοιβαία πληροφορία μέσω της εντροπίας της πηγής και της υπό συνθήκη εντροπίας της εισόδου για δεδομένη έξοδο. Υπολογίζουμε τις από κοινού πιθανότητες εισόδου εξόδου μέσω του κανόνα του Bayes. Υπολογίζουμε τις υπό συνθήκη πιθανότητες χρησιμοποιώντας τον κανόνα της αλυσίδας. Άσκηση 2: Υπολογίζουμε τη χωρητικότητα ενός δυαδικού συμμετρικού καναλιού χωρίς μνήμη. Η χωρητικότητα δίνεται ως η μέγιστη τιμή της αμοιβαίας πληροφορίας ως προς όλες τις πιθανές κατανομές πιθανοτήτων των συμβόλων εισόδου. Η μεγιστοποίηση γίνεται θέτωντας την πρώτη παράγωγο της συνάρτησης την οποία μελετάμε ίση με το μηδέν.

Άσκηση 1: Μια πηγή μπορεί να παράγει δύο σύμβολα, x1 και x2. Τα σύμβολα αυτά μεταδίδονται μέσα από ένα κανάλι το οποίο αντιστοιχίζει το x1 με πιθανότητα 1/2 στο y1, το x1 με πιθανότητα 1/2 στο y2 και τέλος το x2 στο σύμβολο εξόδου y3 με πιθανότητα 1. Υπολογίζουμε τη χωρητικότητα του καναλιού αυτού μέσω της μεγιστοποίησης της αμοιβαίας πληροφορίας ως προς όλες τις κατανομές πιθανοτήτων για τα σύμβολα εισόδου. Η αμοιβαία πληροφορία υπολογίζεται χρησιμοποιώντας την εντροπία της πηγής και την υπό συνθήκη εντροπία της εισόδου για δοσμένη έξοδο. Άσκηση 2: Μας δίνεται μια από κοινού συνάρτηση πυκνότητας πιθανότητας δύο τυχαίων μεταβλητών X και Y, η οποία εξαρτάται από μια άγνωστη παράμετρο K. Χρησιμοποιώντας την ιδιότητα πως το ορισμένο ολοκλήρωμα μιας συνάρτησης πυκνότητας πιθανότητας σε όλο το πεδίο ορισμού της θα πρέπει να είναι μονάδα, υπολογίζουμε την τιμή της παραμέτρου K. Άσκηση 3: Πρέπει να δείξουμε πως η τυχαία μεταβλητή X είναι κανονική. Για να υπολογίσουμε την συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής X γνωρίζοντας την από κοινού συνάρτηση πυκνότητας πιθανότητας των X και Y, υπολογίζουμε το ορισμένο ολοκλήρωμα της από κοινού pdf πάνω στο πεδίο ορισμού της Y. Υπολογίζοντας την έκφραση που προκύπτει, αναγνωρίζουμε πως έχει τη μορφή μιας κανονικής pdf με μέση τιμή 0 και διασπορά 1. Άσκηση 4: Πρέπει να εξετάσουμε αν οι X και Y είναι ανεξάρτητες. Θα εξετάσουμε αν η από κοινού pdf είναι ίση με το γινόμενο των επιμέρους pdf. Εύκολα παρατηρούμε πως όταν οι τυχαίες μεταβλητές X και Y έχουν αντίθετα πρόσημα, τότε η απο κοινού pdf είναι μηδέν. Όμως, το γινόμενο των επιμέρους pdf δεν είναι μηδέν στις περιοχές αυτές. Επομένως οι τυχαίες μεταβλητές δεν είναι ανεξάρτητες.