Darstellung / Vorschau
(CEID 552) - Ιωάννης Χατζηλυγερούδης
Beschreibung des Kurses
Στο πλαίσιο του μαθήματος διδάσκονται τα ακόλουθα βασικά θέματα: Εισαγωγή στη ρομποτική και βασικές έννοιες υλοποίησης ελεγκτών για ρομποτικά συστήματα, Εισαγωγή στην ενισχυτική μάθηση και εφαρμογές της σε ρομποτικά προβλήματα, Εισαγωγή στην υλοποίηση ευφυών συστημάτων βασισμένα σε κανόνες. Το μάθημα δίνει την δυνατότητα στους φοιτητές να αποκτήσουν δεξιότητες τόσο σε θεωρητικό όσο και σε πρακτικό επίπεδο πάνω στην υλοποίηση ευφυών συστημάτων με χρήση γλωσσών και εργαλείων ευφυούς προγραμματισμού καθώς και ανάπτυξη συστημάτων για προβλήματα Ρομποτικής.
Creation Date
Freitag, 3. April 2015
-
Περιεχόμενο μαθήματος
Α' Μέρος: Ρομποτική
- Εισαγωγή στη Ρομποτική
- Κινηματική Ανάλυση Ρομποτικών Συστημάτων
- Γενικευμένες Συντεταγμένες
- Δυναμική Ανάλυση Ρομποτικών Συστημάτων
- Έλεγχος Ρομποτικών Συστημάτων
- Υπολογισμός Τροχιάς και Έλεγχος στον Καρτεσιανό Χώρο
- Πρόβλημα SLAM και Tracking
- Ρομποτικοί προσομοιωτές (simulators)
Β' Μέρος: Ευφυείς Πράκτορες/Ενισχυτική Μάθηση
- Εισαγωγή στην Ενισχυτική Μάθηση/Βασικές Έννοιες Ευφυών Πρακτόρων
- Markov Decision Processes
- Δυναμικός Προγραμματισμός: Iterative Policy Evaluation, Policy/Value Iteration
- Temporal Difference Learning
- Αλγόριθμοι SARSA, Q-Learning
- Policy Gradient Μέθοδοι
- Ενισχυτική Μάθηση με Δέσμες (Batch RL)/Actor-Critic Methods
- Ενισχυτική Μάθηση με χρήση Black-Box Optimization
- Ενισχυτική Μάθηση βασισμένη σε Μοντέλα
- Ενισχυτική Μάθηση με Λίγα Δεδομένα
Μαθησιακοί στόχοι
Στόχος του μαθήματος είναι να παρέχει στους φοιτητές γνώση σε θεωρητικό και πρακτικό επίπεδο σχετική με τη ανάπτυξη ευφυών συστημάτων και τη ρομποτική. Δίνεται μεγάλη έμφαση στην πρακτική εξάσκηση και στο να μάθουν οι φοιτητές να χρησιμοποιούν εργαλεία. Τέτοια εργαλεία είναι: ρομποτικοί προσομοιωτές (π.χ. DART), και βιβλιοθήκες που προσφέρουν διάφορες μεθόδους χρήσιμες σε ευφυή συστήματα (π.χ. CLIPS, sklearn, numpy, openai-gym κτλ).
Βιβλιογραφία
- «Τεχνητή Νοημοσύνη», Ι. Βλαχάβας, Π. Κεφαλας, Ν. Βασιλειάδης, Φ. Κόκκορας και Η. Σακελλαρίου-Γ' ΈκδοσηΕκδ. Β. Γκιούρδας, Αθήνα, 2006
- Reinforcement Learning: An Introduction, 2nd Edition, Richard S. Sutton, Andrew G. Barto, 2015, MIT Press. ebook
- Algorithms for Reinforcement Learning, Csaba Szepesvari, 2009, Morgan & Claypool Publishers. ebook
- "Modern Robotics: Mechanics, Planning, and Control," Kevin M. Lynch and Frank C. Park, Cambridge University Press, 2017. ebook
Προαπαιτούμενα
Καλές γνώσεις Προγραμματισμού
Αξιολόγηση Μαθήματος
Το μάθημα αξιολογείται με δύο εργασίες (πρότζεκτ) και μερικές μικρές ασκήσεις. Η πρώτη εργασία θα αφορά την υλοποίηση ενός προγράμματος ελέγχου ενός ρομποτικού συστήματος, ενώ η δεύτερη εργασία θα αφορά την εκμάθηση ελεγκτών με διαφορετικές μεθόδους ενισχυτικής μάθησης.
Η κάθε εργασία θα βαθμολογείται τόσο από τον κώδικα και την αναφορά που παραδίδεται, αλλά και από προφορική εξέταση.
Θα υπάρχουν και διάφορες ασκήσεις ανά 2 ή 3 εβδομάδες οι οποίες θα μετρούν το 10% της βαθμολογίας.
Η τελική βαθμολογία θα είναι ως εξής: Βαθμός = 0.5*ΕργΑ+0.4*ΕργΒ + Ασκ, όπου ΕργΑ είναι ο βαθμός της πρώτης εργασίας, ΕργΒ της δεύτερης και Ασκ είναι η βαθμολογία από τις ασκήσεις.