Παράλληλη Επεξεργασία

1. Εισαγωγή στην παράλληλη επεξεργασία και τους υπολογισμούς υψηλών επιδόσεων (HPC).
   Παρουσίαση των βασικών κατηγοριών παράλληλων υπολογιστικών συστημάτων και προγραμματιστικών μοντέλων. Ο νόμος του Moore. Παρουσίαση σύγχρονων τάσεων και εφαρμογών.
2. Κατανόηση των διαφορετικών παράλληλων αρχιτεκτονικών με βάση την ταξινόμηση κατά Flynn και την αρχιτεκτονική μνήμης. 

• Διεργασίες και Νήματα. Νήματα επιπέδου πυρήνα και χρήστη.
• Νήματα του προτύπου POSIX. Διαχείριση Νημάτων. Συγχρονισμός.
• Παραλληλοποίηση εφαρμογών με νήματα. 

1. Εισαγωγή στο προγραμματιστικό μοντέλο OpenMP. Ανάλυση βασικών οδηγιών του OpenMP.
2. Τρόπος λειτουργίας του ΟpeMP. Βελτιστοποίηση κώδικα OpenMP. Δρομολόγηση επαναλήψεων.
3. Διαχείριση εμφωλευμένου παραλληλισμού. Το μοντέλο εργασιών του OpenMP.

• Ο νόμος του Amdahl.
• Κλιμακωσιμότητα εφαρμογών.
• Αξιοποίηση ιεραρχίας μνήμης.
• Το μοντέλο απόδοσης roofline. 

1. Εισαγωγή στο MPI. Ανάλυση βασικών λειτουργιών του MPI. Είδη επικοινωνίας (point-to-point, collective).
2. Ασύγχρονη επικοινωνία στο MPI. Επικάλυψη επικοινωνίας και υπολογισμού.
3. Παρουσίαση του υβριδικού μοντέλου προγραμματισμού MPI + OpenMP.

Εισαγωγή σε προχωρημένα θέματα παράλληλης επεξεργασίας, όπως:

• Αρχιτεκτονική και τρόπος προγραμματισμού GPUs με χρήση της CUDA.
• Eντολές επεξεργασίας πολλαπλών δεδομένων (SIMD).
• Παράλληλο I/O με χρήση MPI.