ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ ΙΙ

 

7.1     ΕΙΣΑΓΩΓΗ

 

Ένα ερώτημα που τίθεται συνεχώς στην έρευνα των νευρωνικών δικτύων είναι το μέγεθος του νευρωνικού δικτύου που απαιτείται για να λυθεί ένα συγκεκριμένο πρόβλημα. Αν η εκπαίδευση αρχίσει με ένα μικρό δίκτυο, είναι πιθανό να μην επιτευχθεί  μάθηση. Από την άλλη πλευρά, εάν χρησιμοποιηθεί δίκτυο μεγαλύτερο απ’ ότι απαιτείται, τότε η διαδικασία της μάθησης γίνεται πολύ αργή. Επιπλέον, το υποκείμενο μοντέλο, που παρέχει τα δεδομένα  για το σύνολο εκπαίδευσης, είναι συνήθως άγνωστο ή μεταβλητό, καταλήγοντας σε ελλιπή πληροφορία οδήγησης. Σε αυτές τις περιπτώσεις δεν υπάρχουν κοινά αποδεκτοί κανόνες, για τον τρόπο με τον οποίο μπορεί κάποιος να υλοποιήσει ένα δίκτυο που θα λύσει ένα συγκεκριμένο πρόβλημα.

 

Στην βιβλιογραφία, υπάρχουν μόνο λίγες μέθοδοι που αναφέρουν πως μπορεί να αντιμετωπιστεί αυτό το πρόβλημα, ελαχιστοποιώντας το μέγεθος του δικτύου αλλά ταυτόχρονα διατηρώντας και καλή απόδοση. Αυτοί οι σχεδιαστικοί στόχοι μπορούν να επιτευχθούν με έναν από δύο τρόπους: 1. Επέκταση δικτύου (network growing), όπου ξεκινάμε με ένα μικρό δίκτυο και προσθέτουμε ένα νέο νευρώνα ή ένα νέο επίπεδο από κρυμμένους νευρώνες μόνο όταν δεν μπορούμε να πραγματώσουμε τη σχεδιαστική προδιαγραφή. 2. Περιορισμός δικτύου (network pruning), όπου ξεκινάμε με ένα μεγάλο δίκτυο ικανοποιητικής απόδοσης για το πρόβλημα που εξετάζουμε και το περιορίζουμε εξασθενίζοντας ή εξαλείφοντας συγκεκριμένα συναπτικά βάρη ή νευρώνες, με έναν επιλεκτικό και μεθοδικό τρόπο. Πρόσφατα, εξελικτικές μέθοδοι (evolution methods) έχουν χρησιμοποιηθεί για τη βελτιστοποίηση του μεγέθους του νευρωνικού δικτύου.

 

Σ’ αυτή την εργασία, όλα τα προηγούμενα αποτελέσματα σχετικά με το παραπάνω πρόβλημα, παρουσιάζονται εκτεταμένα και συγκριτικά. Επιπλέον, μια νέα προσέγγιση παρουσιάζεται βασισμένη στη μάθηση με ένα δίκτυο μεγαλύτερο από το ελάχιστο μέγεθος δικτύου που απαιτείται˙ έπειτα κατά τη διάρκεια της διαδικασίας της μάθησης, το δίκτυο αυτο-περιορίζεται σε ένα αποδοτικό, για το συγκεκριμένο πρόβλημα δίκτυο. Παρουσιάζονται τρεις προσαρμοστικές περιοδικές (recurrent) υλοποιήσεις και αξιολογούνται με λεπτομερώς. Η εφαρμογή αυτών των αλγορίθμων στο πρόβλημα της επιλογής του σωστού μοντέλου μιας σειράς χρόνου αξιολογείται, με τη βοήθεια εξομοιώσεων σε υπολογιστή. Η μέθοδος αποδεικνύεται αποτελεσματική και ικανή να  προσδιορίζει το σωστό μοντέλο ή το μοντέλο που βρίσκεται πλησιέστερα στο αληθινό, με την έννοια της ελαχιστοποίησης της μετρικής της  πληροφορίας του Kullback. Τέλος, παρουσιάζεται μια γενική μέθοδος για τη βελτιστοποίηση των δομών και των βαρών σε ένα πλήρως συνδεδεμένο νευρωνικό δίκτυο, η οποία κάνει χρήση γενετικών αλγορίθμων. Οι δύο τελευταίες ενότητες είναι αφιερωμένες σε υπολογιστικές απόψεις και συμπερασματικές παρατηρήσεις.

 

ΑΡΧΗ ΚΕΦΑΛΑΙΟΥ