Μάθημα : Επεξεργασία Σημάτων

Επεξεργασία Σημάτων

Το μάθημα καλύπτει θεμελιώδεις και σύγχρονες έννοιες της επεξεργασίας σημάτων, της στατιστικής εκτίμησης και του βέλτιστου φιλτραρίσματος, με έμφαση τόσο στη μαθηματική κατανόηση όσο και στην πρακτική υπολογιστική εφαρμογή τους. Η ύλη αναπτύσσεται μέσα από συγκεκριμένα προβλήματα εκτίμησης, επεξεργασίας δεδομένων και παρακολούθησης δυναμικών συστημάτων.

Ενδεικτικά θέματα:

• Γραμμικά Ελάχιστα Τετράγωνα & Αριθμητική Γραμμική Άλγεβρα

• Πολυδιάστατα Σήματα & Φίλτρα

• Τυχαία Διανύσματα, Συνδιακύμανση & Μοντέλα Θορύβου

• Maximum Likelihood & MAP Estimation

• Bayesian Εκτίμηση & Bayesian Linear Regression

• Μη Γραμμικά Ελάχιστα Τετράγωνα

• Βέλτιστη Γραμμική Εκτίμηση & Wiener Filtering

• State-Space Models & Kalman Filtering

• Sensor Fusion & Παρακολούθηση Δυναμικών Συστημάτων

Η γενική πορεία του μαθήματος μπορεί να συνοψιστεί ως:

Fit → Infer → Filter → Track

Πιο αναλυτικά:

---

Μέρος	Κύρια Θέματα	Βασικά Στοιχεία
Μέρος Ι – Γραμμική Άλγεβρα, Least Squares & Πολυδιάστατα Σήματα	Γραμμικά Ελάχιστα Τετράγωνα, Αριθμητική Γραμμική Άλγεβρα, Πολυδιάστατα Σήματα, Τυχαία Διανύσματα	- Linear Least Squares: residuals, design matrix, υπερκαθορισμένα συστήματα, προβολές- Διανύσματα, νόρμες, εσωτερικά γινόμενα, ορθογωνιότητα και column space- Rank deficiency, ill-conditioning και regularization- QR, SVD, pseudoinverse, singular values και condition number- Πολυδιάστατα και πολυκαναλικά σήματα- 2-D convolution, separable filters, vectorization και matrix operators- Τυχαία διανύσματα, covariance matrices και correlated noise- Quadratic forms, symmetric/PSD matrices, eigendecomposition, Cholesky και whitening
Μέρος ΙΙ – Στατιστική & Bayesian Εκτίμηση	Maximum Likelihood, MAP, Bayesian Parameter Estimation, Bayesian Linear Regression	- Maximum Likelihood Estimation (MLE) και Gaussian noise- Σύνδεση Least Squares και Gaussian MLE- Εκτίμηση παραμέτρων, μέσης τιμής και διασποράς- MAP estimation, priors, likelihood και regularization ως prior information- Multivariate Gaussian distributions και precision matrices- Bayesian parameter estimation: posterior distributions, posterior mean, MAP και MMSE- Αβεβαιότητα εκτίμησης, credible regions και sequential Bayesian updates- Bayesian Linear Regression και posterior distributions πάνω στις παραμέτρους- Posterior predictive distribution και uncertainty propagation- Basis functions: polynomial, Fourier και RBF regression- Model complexity, hyperparameters και sequential Bayesian regression
Μέρος ΙΙΙ – Μη Γραμμική Εκτίμηση & Βέλτιστο Φιλτράρισμα	Nonlinear Least Squares, Αριθμητική Βελτιστοποίηση, Wiener Filtering	- Μη γραμμικά measurement models και residual vectors- Πολυμεταβλητές συναρτήσεις, partial derivatives και Jacobians- Taylor approximation, gradients και Hessians- Nonlinear Least Squares- Gradient descent, Gauss–Newton και Levenberg–Marquardt- Initialization, local minima, weighted και robust residuals- Linear MMSE και orthogonality principle- FIR Wiener filter και Wiener–Hopf equations- Prediction και optimal linear estimation- Frequency-domain Wiener filtering- Signal/noise PSDs, deconvolution και regularized inversion
Μέρος IV – Δυναμική Εκτίμηση & Sensor Fusion	State-Space Models, Kalman Filtering, Tracking	- State-space models και latent states- Dynamics και observation models- Process noise και measurement noise- Affine Gaussian transformations και covariance propagation- Kalman Filter: prediction, innovation, correction και Kalman gain- Gaussian conditioning και uncertainty fusion- Πολυδιάστατο Kalman filtering- Sensor fusion από πολλαπλές πηγές με διαφορετικές αβεβαιότητες- Missing και asynchronous measurements- Επιλογή και tuning των Q,RQ,R- Innovation analysis και αριθμητική υλοποίηση

Μαθησιακοί στόχοι

Με την επιτυχή ολοκλήρωση του μαθήματος ο/η φοιτητής/τρια θα είναι σε θέση:

• να διατυπώνει και να επιλύει γραμμικά προβλήματα ελαχίστων τετραγώνων, να ερμηνεύει γεωμετρικά τη λύση τους και να αναγνωρίζει προβλήματα κακής κατάστασης ή έλλειψης βαθμού

• να χρησιμοποιεί βασικά εργαλεία αριθμητικής γραμμικής άλγεβρας, όπως QR, SVD, pseudoinverse, eigendecomposition και Cholesky decomposition, για την ανάλυση και επίλυση προβλημάτων επεξεργασίας σημάτων

• να αναπαριστά και να επεξεργάζεται πολυδιάστατα και πολυκαναλικά σήματα, εφαρμόζοντας τεχνικές όπως η πολυδιάστατη συνέλιξη και τα διαχωρίσιμα φίλτρα

• να μοντελοποιεί την αβεβαιότητα και τον συσχετισμένο θόρυβο με χρήση τυχαίων διανυσμάτων, πινάκων συνδιακύμανσης και πολυδιάστατων Gaussian κατανομών

• να διατυπώνει και να επιλύει προβλήματα Maximum Likelihood Estimation (MLE) και Maximum a Posteriori (MAP) estimation

• να εφαρμόζει βασικές αρχές Bayesian εκτίμησης παραμέτρων, να υπολογίζει posterior κατανομές και να ποσοτικοποιεί την αβεβαιότητα μιας εκτίμησης

• να εφαρμόζει Bayesian Linear Regression για εκτίμηση, πρόβλεψη και αποτίμηση αβεβαιότητας, χρησιμοποιώντας κατάλληλες basis functions

• να διατυπώνει και να επιλύει μη γραμμικά προβλήματα ελαχίστων τετραγώνων χρησιμοποιώντας μεθόδους όπως Gauss–Newton και Levenberg–Marquardt

• να υλοποιεί τεχνικές βέλτιστης γραμμικής εκτίμησης και Wiener filtering για αποθορυβοποίηση, πρόβλεψη και αντιστροφή συστημάτων

• να διατυπώνει δυναμικά προβλήματα εκτίμησης σε μορφή state-space και να εφαρμόζει τον Kalman Filter για αναδρομική εκτίμηση καταστάσεων

• να συνδυάζει μετρήσεις από πολλαπλούς αισθητήρες με διαφορετικά επίπεδα αβεβαιότητας σε προβλήματα sensor fusion και tracking

• να μετατρέπει ένα πρακτικό πρόβλημα επεξεργασίας σημάτων σε κατάλληλο μαθηματικό και υπολογιστικό μοντέλο, να επιλέγει κατάλληλη μέθοδο επίλυσης και να την υλοποιεί σωστά σε κώδικα

Προαπαιτούμενα

Λογισμός συναρτήσεων μιας μεταβλητής (ECE_Y101)

Γραμμική Άλγεβρα (ECE_Υ104)

Εισαγωγή στους Υπολογιστές (ECE_Y106)

Λογισμός Συναρτήσεων πολλών μεταβλητών και Διανυσματική Ανάλυση (ECE_Υ212)

Πιθανοθεωρία και Στατιστική (ECE_Υ322)

Σήματα και Συστήματα (ECE_Υ425)

Μέθοδοι αξιολόγησης

• Επιλογή ανάμεσα από 2 τρόπους:
  • Ενδιάμεσοι Πρόοδοι/Εξετάσεις (40%) + Τελική Εξέταση (60%) --- διαθέσιμο μόνο για 150 άτομα
  • Τελική Εξέταση
• Προαιρετικές Ασκήσεις (+10% bonus)

Οι εξετάσεις (και οι πρόοδοι) πραγματοποιούνται με ηλεκτρονικά μέσα και περιλαμβάνουν και συγγραφή κώδικα.