ΤΕΧΝΟΛΟΓΙΕΣ ΕΥΦΥΩΝ ΣΥΣΤΗΜΑΤΩΝ ΚΑΙ ΡΟΜΠΟΤΙΚΗ (CEID 552)

Ιωάννης Χατζηλυγερούδης

Περιγραφή

Στο πλαίσιο του μαθήματος διδάσκονται τα ακόλουθα βασικά θέματα: Εισαγωγή στη ρομποτική και βασικές έννοιες υλοποίησης ελεγκτών για ρομποτικά συστήματα, Εισαγωγή στην ενισχυτική μάθηση και εφαρμογές της σε ρομποτικά προβλήματα, Εισαγωγή στην υλοποίηση ευφυών συστημάτων βασισμένα σε κανόνες. Το μάθημα δίνει την δυνατότητα στους φοιτητές να αποκτήσουν δεξιότητες τόσο σε θεωρητικό όσο και σε πρακτικό επίπεδο πάνω στην υλοποίηση ευφυών συστημάτων με χρήση γλωσσών και εργαλείων ευφυούς προγραμματισμού καθώς και ανάπτυξη συστημάτων για προβλήματα Ρομποτικής.

Περίγραμμα

Περιεχόμενο μαθήματος

Α' Μέρος: Ρομποτική

Εισαγωγή στη Ρομποτική
Κινηματική Ανάλυση Ρομποτικών Συστημάτων
Γενικευμένες Συντεταγμένες
Δυναμική Ανάλυση Ρομποτικών Συστημάτων
Έλεγχος Ρομποτικών Συστημάτων
Υπολογισμός Τροχιάς και Έλεγχος στον Καρτεσιανό Χώρο
Πρόβλημα SLAM και Tracking
Ρομποτικοί προσομοιωτές (simulators)

Β' Μέρος: Ευφυείς Πράκτορες/Ενισχυτική Μάθηση

Εισαγωγή στην Ενισχυτική Μάθηση/Βασικές Έννοιες Ευφυών Πρακτόρων
Markov Decision Processes
Δυναμικός Προγραμματισμός: Iterative Policy Evaluation, Policy/Value Iteration
Temporal Difference Learning
Αλγόριθμοι SARSA, Q-Learning
Policy Gradient Μέθοδοι
Ενισχυτική Μάθηση με Δέσμες (Batch RL)/Actor-Critic Methods
Ενισχυτική Μάθηση με χρήση Black-Box Optimization
Ενισχυτική Μάθηση βασισμένη σε Μοντέλα
Ενισχυτική Μάθηση με Λίγα Δεδομένα

Μαθησιακοί στόχοι

Στόχος του μαθήματος είναι να παρέχει στους φοιτητές γνώση σε θεωρητικό και πρακτικό επίπεδο σχετική με τη ανάπτυξη ευφυών συστημάτων και τη ρομποτική. Δίνεται μεγάλη έμφαση στην πρακτική εξάσκηση και στο να μάθουν οι φοιτητές να χρησιμοποιούν εργαλεία. Τέτοια εργαλεία είναι: ρομποτικοί προσομοιωτές (π.χ. DART), και βιβλιοθήκες που προσφέρουν διάφορες μεθόδους χρήσιμες σε ευφυή συστήματα (π.χ. CLIPS, sklearn, numpy, openai-gym κτλ).

Βιβλιογραφία

«Τεχνητή Νοημοσύνη», Ι. Βλαχάβας, Π. Κεφαλας, Ν. Βασιλειάδης, Φ. Κόκκορας και Η. Σακελλαρίου-Γ' ΈκδοσηΕκδ. Β. Γκιούρδας, Αθήνα, 2006
Reinforcement Learning: An Introduction, 2nd Edition, Richard S. Sutton, Andrew G. Barto, 2015, MIT Press. ebook
Algorithms for Reinforcement Learning, Csaba Szepesvari, 2009, Morgan & Claypool Publishers. ebook
"Modern Robotics: Mechanics, Planning, and Control," Kevin M. Lynch and Frank C. Park, Cambridge University Press, 2017. ebook

Προαπαιτούμενα

Καλές γνώσεις Προγραμματισμού

Αξιολόγηση Μαθήματος

Το μάθημα αξιολογείται με δύο εργασίες (πρότζεκτ) και μερικές μικρές ασκήσεις. Η πρώτη εργασία θα αφορά την υλοποίηση ενός προγράμματος ελέγχου ενός ρομποτικού συστήματος, ενώ η δεύτερη εργασία θα αφορά την εκμάθηση ελεγκτών με διαφορετικές μεθόδους ενισχυτικής μάθησης.

Η κάθε εργασία θα βαθμολογείται τόσο από τον κώδικα και την αναφορά που παραδίδεται, αλλά και από προφορική εξέταση.

Θα υπάρχουν και διάφορες ασκήσεις ανά 2 ή 3 εβδομάδες οι οποίες θα μετρούν το 10% της βαθμολογίας.

Η τελική βαθμολογία θα είναι ως εξής: Βαθμός = 0.5*ΕργΑ+0.4*ΕργΒ + Ασκ, όπου ΕργΑ είναι ο βαθμός της πρώτης εργασίας, ΕργΒ της δεύτερης και Ασκ είναι η βαθμολογία από τις ασκήσεις.