Λογισμικό και Προγραμματισμός Συστημάτων Υψηλής Επίδοσης - Παράλληλος Προγραμματισμός σε Προβλήματα Μηχανικής Μάθησης (CEID_NE5407 (OLD))
Βαγγέλης Δερματάς, Παναγιώτης Χατζηδούκας
Σειριακός και παράλληλος προγραμματισμός. Ορια υπολογιστικής ισχύος σε σειριακούς υπολογιστές, νόμος του Moore. Παράλληλος προγραμματισμός. Παραλληλοποίηση σειριακών υπολογισμών. Νόμοι των Amdahl και Gustafson. Υλικό πολλαπλών υπολογιστικών μονάδων, ταξινόμηση κατά Flynn. Δίκτυα υπολογιστών, Multi-Core CPUs, GP-GPUs. Υπολογιστικά μοντέλα: Message-Passing, shared-Memory, Accelerators. Υλοποιήσεις: openΜPI (message passing interface), POSIX threads, OpenMP, openACC. Debugging. Παραδείγματα απλών υλοποιήσεων στους μεταγλωττιστές gcc, μεταγλωττιστές της PGI και Intel. Υλοποίηση στοχαστικών αλγορίθμων βελτιστοποίησης (simulated annealing, γενετικοί αλγόριθμοι, swarm algorithms) σε μηχανές παράλληλης επεξεργασίας. Εκπαίδευση νευρωνικών δικτύων μεγάλης κλίμακας (Deep-Learning). Παράλληλη επεξεργασία σε Big-Data: Συστήματα σύστασης (Recommender Systems), Ανάλυση γονιδιακών ακολουθιών.
Εργαστήρια του μαθήματος Παράλληλος Προγραμματισμός σε προβλήματα μηχανικής μάθησης.
Εργαστήριο 1. Πράξεις πινάκων. Σειριακή και παράλληλη υλοποίηση σε pthreads, openMP, vector processing. Μέτρηση απόδοσης.
Εργαστήριο 2. Simulated annealing και swarm optimization. Ευρεση ακρότατων ασυνεχών συναρτήσεων πολλαπλών μεταβλητών. Υλοποίηση σε pthreads, openMP, vector processing.
Εργαστήριο 3. Παράλληλη υλοποίηση γενετικών αλγορίθμων. Υλοποίηση σε openMP
Εργαστήριο 4. Επίλυση του προβλήματος του περιοδεύοντος πωλητή με τυχαία αναζήτηση και γενετικούς αλγόριθμους. Υλοποίηση σε openMP, vector processing
Εργαστήριο 5. Κατασκευή Συστήματος σύστασης ταινιών κινηματογράφου. Υλοποίηση σε openMP.
Εργαστήριο 6. Κατασκευή Συστήματος εύρεσης ομοιότητας σε γονιδιακή ακολουθία ιού γρίππης. Υλοποίηση σε openMP και openACC.
Εργαστήριο 7. Κατασκευή Συστήματος αυτόματης ομαδοποίησης γονιδιακών ακολουθιών του ιού της γρίππης. Υλοποίηση σε openMP και openACC.
(Οι τίτλοι και τα αντικείμενα των εργαστηριακών ασκήσεων είναι ενδεικτικά και ενδέχεται να αλλάξουν.)
Λιγότερα
Σειριακός και παράλληλος προγραμματισμός. Ορια υπολογιστικής ισχύος σε σειριακούς υπολογιστές, νόμος του Moore. Παράλληλος προγραμματισμός. Παραλληλοποίηση σειριακών υπολογισμών. Νόμοι των Amdahl και Gustafson. Υλικό πολλαπλών υπολογιστικών μονάδων, ταξινόμηση κατά Flynn. Δίκτυα υπολογιστών, Multi-Core CPUs, GP-GPUs. Υπολογιστικά μοντέλα: Message-Passing, shared-Memory, Accelerators. Υλοποιήσεις: openΜPI (message passing interface), POSIX threads, OpenMP, openACC. Debugging. Παραδείγματα απλών υλοποιήσεων στους μεταγλωττιστές gcc, μεταγλωττιστές της PGI και Intel. Υλοποίηση στοχαστικών αλγορίθμων βελτιστοποίησης (simulated annealing, γενετικοί αλγόριθμοι, swarm algorithms) σε μηχανές παράλληλης επεξεργασίας. Εκπαίδευση νευρωνικών δικτύων μεγάλης κλίμακας (Deep-Learning). Παράλληλη επεξεργασία σε Big-Data: Συστήματα σύστασης (Recommender Systems), Ανάλυση γονιδιακών ακολουθιών.
Εργαστήρια του μαθήματος Παράλληλος Προγραμματισμός σε προβλήματα μηχανικής μάθησης.
Εργαστήριο 1. Πράξεις πινά
Σειριακός και παράλληλος προγραμματισμός. Ορια υπολογιστικής ισχύος σε σειριακούς υπολογιστές, νόμος του Moore. Παράλληλος προγραμματισμός. Παραλληλοποίηση σειριακών υπολογισμών. Νόμοι των Amdahl και Gustafson. Υλικό πολλαπλών υπολογιστικών μονάδων, ταξινόμηση κατά Flynn. Δίκτυα υπολογιστών, Multi-Core CPUs, GP-GPUs. Υπολογιστικά μοντέλα: Message-Passing, shared-Memory, Accelerators. Υλοποιήσεις: openΜPI (message passing interface), POSIX threads, OpenMP, openACC. Debugging. Παραδείγματα απλών υλοποιήσεων στους μεταγλωττιστές gcc, μεταγλωττιστές της PGI και Intel. Υλοποίηση στοχαστικών αλγορίθμων βελτιστοποίησης (simulated annealing, γενετικοί αλγόριθμοι, swarm algorithms) σε μηχανές παράλληλης επεξεργασίας. Εκπαίδευση νευρωνικών δικτύων μεγάλης κλίμακας (Deep-Learning). Παράλληλη επεξεργασία σε Big-Data: Συστήματα σύστασης (Recommender Systems), Ανάλυση γονιδιακών ακολουθιών.
Εργαστήρια του μαθήματος Παράλληλος Προγραμματισμός σε προβλήματα μηχανικής μάθησης.
Εργαστήριο 1. Πράξεις πινά
