ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ ΙΙ
Εδώ, εισάγουμε τον πρώτο προσαρμοστικό αλγόριθμο διαχωρισμού για το πρόβλημα της βελτιστοποίησης του μεγέθους ενός νευρωνικού δικτύου, βασιζόμενοι στον ALF με χρήση Μ νευρωνικών δικτύων, καθένα από τα οποία αποτελείται από έναν κόμβο εξόδου και τ κόμβους εισόδου, τ=1,…, M, όπως δείχνεται στο σχήμα 2.
ΣΧΗΜΑ 2. Πολλαπλών μοντέλων διαχωρισμός νευρωνικών δικτύων.
Κάθε δίκτυο προσομοιώνει ένα από τα Μ πιθανά AR μοντέλα που χρειάζονται για την υλοποίηση του ALF, και μετά υπολογίζεται μια εκ των υστέρων πιθανότητα για κάθε ένα υποθετικό μοντέλο. Όλα αυτά τα δίκτυα λειτουργούν ανεξάρτητα και ταυτόχρονα. Οι εκ των υστέρων πιθανότητες υπολογίζονται από τον επόπτη. Εκτός από τις αρχικοποιήσεις που περιγράφτηκαν πιο πάνω, οι πιθανότητες p(τ/0) όλων των μοντέλων τίθενται εκ των προτέρων ίσες με 1/Μ. Κατά τη διάρκεια της φάσης της εκπαίδευσης, τα ακόλουθα βήματα πραγματοποιούνται επαναλαμβανόμενα για ένα δοσμένο αριθμό κύκλων.
1. Καθένα από τα Μ δίκτυα-μοντέλα, τη χρονική στιγμή n, εκτελεί ταυτόχρονα τα βήματα 1-5 που περιγράφτηκαν πιο πάνω. Κατά τη διάρκεια της λειτουργίας κάθε νευρωνικό δίκτυο ενεργοποιείται ανεξάρτητα, και γι’ αυτό η μέθοδος είναι κατάλληλη για παράλληλη υλοποίηση.
2. Μετά τον υπολογισμό καθενός από τα L(n/n;τ), ο επόπτης τα χρησιμοποιεί σε συνδυασμό με την εκ των υστέρων πιθανότητα κάθε μοντέλου ( υπολογισμένη τη χρονική στιγμή n-1), έτσι ώστε να υπολογίσει το άθροισμα (6) στον ALF:
M
sum = å L(n/n;τ) p(τ/n-1) (14)
τ=1
3. Τέλος κάθε δίκτυο ενημερώνει την εκ των υστέρων πιθανότητα χρησιμοποιώντας την παλιά τιμή και το άθροισμα που υπολογίζεται από τον επόπτη.
(15)
Αν η αληθινή τάξη του μοντέλου είναι τtrue, τότε μετά από έναν επαρκή μικρό αριθμό επαναλήψεων, η εκ των υστέρων πιθανότητα p(τtrue/n) τείνει προς τη μονάδα, ενώ οι υπόλοιπες πιθανότητες τείνουν προς το μηδέν. Σ’ αυτή την περίπτωση, ο αλγόριθμος προσαρμόζεται στο δίκτυο που ταιριάζει καλύτερα στις μετρήσεις (σύνολο εκπαίδευσης). Με άλλα λόγια ο αλγόριθμος προσαρμόζεται στο δίκτυο που μαθαίνει το υποκείμενο σύστημα, το οποίο υποστηρίζει τα δεδομένα, μέσω μιας βέλτιστης στοχαστικής προσέγγισης ( με τη χρήση MMSE υπολογισμού ).