ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ ΙΙ

 

7.3     ΠΡΟΣΑΡΜΟΣΤΙΚΕΣ ΜΕΘΟΔΟΙ ΓΙΑ ΠΕΡΙΟΡΙΣΜΟ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ

 

7.3.1     ΕΠΙΛΟΓΗ ΤΑΞΗΣ ΣΕ ΜΙΑ ΣΕΙΡΑ ΧΡΟΝΟΥ

 

 

Η πρόβλεψη του μέλλοντος είναι το βασικό κίνητρο πίσω από την έρευνα για νόμους που εξηγούν συγκεκριμένα φαινόμενα. Εξαρτάται  από δύο τύπους γνώσης: Τη γνώση των υποκείμενων νόμων, ένα πολύ δυναμικό και ακριβές μέσο πρόβλεψης, και την ανακάλυψη δυνατών εμπειρικών κανονικοτήτων (regularities) με την παρατήρηση ενός δοσμένου συστήματος. Παρόλ’ αυτά, υπάρχουν προβλήματα και με τις δύο προσεγγίσεις, που γίνονται πιο πολύπλοκες, όταν υπάρχουν αστάθειες, δηλαδή θορυβώδη δεδομένα ή παραλλαγές στη δομή του μοντέλου.

 

Η ανάλυση σειράς χρόνου είναι ένα σημαντικό στατιστικό εργαλείο για να μελετήσουμε τη συμπεριφορά δεδομένων που εξαρτώνται από το χρόνο και να προβλέψουμε μελλοντικές τιμές βασιζόμενοι στο ιστορικό των μεταβολών στα δεδομένα. Σ’ αυτό το τμήμα, αντιμετωπίζουμε το πρόβλημα της προσαρμογής ενός αυτο-αναδρομικού (auto regressive AR) μοντέλου σε μια δοσμένη σειρά χρόνου, η οποία περιλαμβάνει και τις δυο παραπάνω προσεγγίσεις, ειδικά, στην περίπτωση θορυβώδους και αγνώστου τάξεως μοντέλου.

 

Το πρόβλημα μπορεί να περιγραφεί τυπικά ως ακολούθως: δοθέντος ενός συνόλου δειγμάτων από μια διαδικασία διακριτού χρόνου {y(n), 0 £n£N-1},  ζητείται να βρεθεί το σύνολο των συντελεστών {wi},  που δίνουν την καλύτερη γραμμική πρόβλεψη του y(N), με βάση όλα τα προηγούμενα δείγματα: 

 

                (1)

 

 

Σαφέστατα το πρόβλημα είναι διπλό: πρέπει να διαλέξουμε την τάξη του πολυωνύμου πρόβλεψης (predictor) και να υπολογίσουμε τους συντελεστές του. Ίσως το πιο σημαντικό τμήμα του προβλήματος είναι το πρώτο.

 

Υπάρχουν πολλές μέθοδοι για επιλογή του AR μοντέλου. Μεταξύ αυτών οι πιο γνωστές και ευρέως διαδεδομένες είναι οι μέθοδοι που έχουν προταθεί από τον Akaike [90]-[105]. Όλες αυτές οι μέθοδοι στηρίζονται στην υπόθεση ότι τα δεδομένα είναι Gaussian και πάνω από ασυμπτωτικά αποτελέσματα. Γι’ αυτό, θα λέγαμε αυστηρά  ότι η  εφαρμογή τους περιορίζεται μόνο στην Gaussian περίπτωση. Επιπλέον είναι μέθοδοι δυο περασμάτων, και έτσι δεν μπορούν να χρησιμοποιηθούν με on-line ή προσαρμοστικό (adaptive) τρόπο. Πρόσφατα, οι L. Wang και  G.A. Libert [106], παρουσίασαν μια νέα μέθοδο για τον προσδιορισμό της τάξης του μοντέλου ARMA, συνδυάζοντας τεχνικές αναγνώρισης προτύπων (perceptrons) και το κριτήριο πληροφορίας του Akaike.

 

Από μια άλλη άποψη, τα νευρωνικά δίκτυα (ΝΝ) ανήκουν σε μια κλάση προσεγγίσεων καθοδηγούμενες από τα δεδομένα, σε αντίθεση με προσεγγίσεις καθοδηγούμενες από μοντέλα. Η διαδικασία κατασκευής μιας τέτοιας μηχανής με βάση διαθέσιμα δεδομένα εκφράζεται από συγκεκριμένους γενικού σκοπού αλγορίθμους όπως ο Back Propagation (BP) [107]. Σ’ αυτή την περίπτωση,  το πρόβλημα μειώνεται στον υπολογισμό των βαρών τροφοδοτούμενων προς τα εμπρός (feedforward) δικτύων για να επιτευχθεί η απεικόνιση εισόδου-εξόδου και μπορεί να θεωρηθεί σαν πρόβλημα  αναγνώρισης υψηλής διάστασης, μη γραμμικού συστήματος. Έτσι ,το πρόβλημα μπορεί να προσεγγιστεί καθολικά με χρήση μη γραμμικής βελτιστοποίησης, καθώς επίσης και με τεχνικές βέλτιστου φιλτραρίσματος [95], [108]. Τέτοιου είδους αλγόριθμοι ίσως να μην είναι κατάλληλοι για κατανεμημένες εφαρμογές. Στο [96], παρουσιάζονται δύο νέοι αλγόριθμοι: Ο Enhanced Back Propagation (EBP) και ο Multiple Extended Kalman Algorithm (MEKA), που αποτελούν τοπικές προσεγγίσεις του καθολικού EKF.

 

Στις παραγράφους που ακολουθούν παρουσιάζουμε πώς οι παραπάνω ιδέες, για αναγνώριση δομής AR μοντέλου, μπορούν να χρησιμοποιηθούν για να αντιμετωπίσουν το πρόβλημα βέλτιστης δομής νευρωνικών δικτύων. Πρώτα θα παρουσιάσουμε μερικές θεωρητικές αρχές, όπως η μορφή του χώρου καταστάσεων του μοντέλου, τη θεωρία διαμερισμού πολλαπλών μοντέλων (multi model partitioning) και τις τοπικές προσεγγίσεις του Extended Kalman φίλτρου (EKF)  και ύστερα θα παρουσιαστούν οι νέοι αλγόριθμοι.

 

ΑΡΧΗ ΚΕΦΑΛΑΙΟΥ