Ειδικά θέματα Γλωσσικής Τεχνολογίας: Βαθιά μηχανική μάθηση για επεξεργασία φυσικής γλώσσας (2022-12-21-17:10:18) / Προγραμματισμένη Μετάδοση μαθήματος - Κουμπαράκης Εμμανουήλ (ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ, 2022)
Προγραμματισμένη Μετάδοση μαθήματος: Λέσκα, πώς πήγαινε η δεύτερη, δεν την ακουστήλει ακόμα, αλλά τα σκόρου που έχεις θέμα... Μου ελπίωσε να κάνω τα σκόρου, σχεδιά, αλλά έχει θέμα το γνώσο. Τι είναι, είναι πολύ μεγάλο. Ναι. Κροσέντρουπι και βάρος. Κροσέντρουπι, ναι. Το κροσέντρουπι και εμένα δεν βγαίνει μεγάλο, και οι καμπύλες βγαίνουν τα λες. Για εμένα βγαίνει τεράστιο, ας πούμε, και οι καμπύλες το γνώσο είναι ευθεία. Σχεδόν. Τι είναι σοφή. Εντάξει, δεν είναι, δεν είναι καμπύλι, έτσι είναι, πώς θα εξηγήσω. Παραμένεις σταθερό. Δηλαδή πειρνάνε οι επαχές και παραμένεις σταθερά. Πώς σταθερά, πώς σταθερά, πώς σταθερά. Έχεις γιορτήτη, έχεις. Βρήκα σε λεμπάκι, τα πήρα εγώ. Μια φιλή. Ευχαριστούμε, ευχαριστούμε. Θα έρθω και τα νέα αντακτοτικά. Καλή χαριανά. Στο κρουσέντη δημιουργήθηκαν πάλι φιλές. Ενώ, ενώ είναι γύρω 0,6 με 0,4. Παρόλο αυτά οι καμπύλες βγαίνουν καλές. Όχι, δεν έχει σημασία το πόρο. Δεν ξέρω πόσο μετριαίτηκε, δεν πήγαμε πώς μετριαίτηκε αυτό το λόγος, αλλά... Κι εγώ το κοίτας δεύτερα λίγο, όπως σου είπα. Μείνει λίγο, λίγο, λίγο. 노 από όλο το γΑΘΙΤΑΝ. Σ average έπαιγε... Τί ο θάνατος μας β μία Λοιπόν, η διαφορά που τέσσετε μέρες πριν και τελειώθηκε, αυτό η ιδέα μας. Ναι. Τι τόση βέβαια? Πες μπράστα, Λόστα. Έχω και βλέγει ψηλό έτοιμο. Έχω και βλέγει ψηλό έτοιμο. Έχω και βλέγει ψηλό έτοιμο. Εγώ θυμάσαι το... Τι σκούρδου έχεις γίνει πάνω? Πάρε, έλα. Άκου εσύ. Όχι, παιζίζω, ανεχαίνω. Ε, έφερα να πω... Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ, στήνεις απ'αυτό. Άκου εσύ... Αυτό είναι που θα θέλαμε να δούμε στα εργασία σήμερα. Ωραία, είναι το input και είναι το data set, τα αρχεία. Δεν χρειάζεται να κάνετε κάτι. Στο πρώτο σημείο. Άπαιρε πράγματα μπορείτε να κάνετε. Δηλαδή, πιστεύω και τις περισσότερες φορές θα κάνεις σε αυτό το κομμάτι, στο πρώτο, το πώς θα χρειάζεσαι τα δομένα, outliers, drop words, lower case. Μπορεί να σου αλλάξει πολύ το αποτέλεσμα. Σίγουρα πρέπει να κάνετε πρώτη, δεύτερη εργασία, αλλά γιατί ξαναδείτε το άμα είναι... Δεν νομίζω ότι είναι δύσκολο. Μετά encoding. Δηλαδή, πώς, ας πούμε, θα χρησιμοποιήσετε το glove, να κάνετε αυτό το text, να το κάνετε γλιανίσματα. Και αυτό παίρνει πολλούς τρόπους. Λοιπόν, το glove, τι dimension θα χρησιμοποιήσετε, πώς θα κάνετε, πώς θα δημιουργήσετε το data set. Γιατί, ας πούμε, έχει δείξει ο Σέλιος δύο εφουλιστήρια πριν, ένα πολύ απλό, ας πούμε, first average. Τι υπάρχει με αυτό, υπάρχουν κι άλλα. Το μοντέλο καλά σημασία R&N. Πάλι πάρα πολλά πράγματα να πειραματιστείτε. Δηλαδή, όλα αυτά που γράφουμε στα παράμετρες, μετά τα υπόλοιπα που δεν έχουν στην εμφώνηση, batch size, learning rate, όλα αυτά, και αυτά που παίρνουν μέσα. Γιατί καταλαβαίνει πάρα πολλά πράγματα που μπορεί να πειραματιστείτε για να φτάσει ένα καλύτερο μοντέλο. Και κιόλας εγώ προτείνω, καλό θα ήταν να χρησιμοποιήσετε κάποιο framework το οποίο κάνει fine-tuning. Γιατί όταν έχεις τους παραμέτρους, πώς θα βρεις το... Δηλαδή, με το for, for, for, for, πρώτα από όλα θα καταρρίξει ένα for μέχρι απέραντι, και επίσης θα το βάζεις σε συγκεκριμένες στιγμές. Ποιους από αυτές οι στιγμές είναι καλύτερες. Που κατά πάσα διθανότητα, και είχα διαβάσει και ένα παίρντερ, ότι το 0,1 learning rate, 0,09 και αυτά, αποκλείδεται να είναι το καλύτερο. Κάποιος τυχίος αριθμός φλόγχνει. Με τα τύχα και με τις θυμάτια. Οπότε, εμείς χρησιμοποιούμε συναρτήσεις που να μας βρίσκουν σημαντικά τις καλύτερες παραμέτρες. Λέει, ναι, random search. Ας πούμε, το random search είναι καλύτερο από το grid search. Γιατί πετάει τυχίους αριθμούς. Πολύ εύκολο το grid search. Σχέση είναι η καλύτερη του, όπου είναι και τέσσερα. Τελευταίο χρονό μέτρος. Έχει prune. Για το random parameter, το random rate. Μπορείς να ξεκινήσεις, ας πούμε, χαμηλά. Να ξεκινήσεις να μειώσεις πάλι, για να βγάλεις κάποια συγκίνηση. Στο prune δίνεις ένα διάστημα. Ας πούμε, δίνεις το 0.1 μέχρι το 0.00001. Αυτό θα πάει και θα σου βάλει στο διάστημα αυτό. Τυχαίες, τη μέση. Όποιασδήποτε. Αλλά σταθερές. Άμα χρησιμοποιείς prune μέσα στο prune, που τον ενεργοποιείς και τον διαλέξεις εσύ, βάζει μια τυχαία τιμή, βλέπει τι κάνει το αποτέλεσμα, δηλαδή, άμα του βάλεις για target το fscore, άμα, ας πούμε, δείτε το αυξάνει, συνεχίζει προς τελείως. Άμα δείτε το μειώνει, αλλάζει. Θα πάρει κάτι πιο μεγάλο, θα πάρει το ανάποδο. Και αυτό είναι μια επαναλογική διαδικασία μάθησης. Άμα δείχνει δεύτερο προσεγγίσεις για scheduling στις εφανίσεις και άμα υπάρχουν μέτρες που κανέναν θέση, αλλιώς, τσχάμινγκ. Πάλι τσχάμινγκ το scheduling. Σχετζουλέρ έχει, συναμωγή, δεν ξέρω αν σχετίζεται κανένα, σχετζουλέρ έχει και το tools. Πολλούς σχετζουλέρς υπάρχουν. Έχει την αντικασία ρύθμισης στο learning rate, βασικά. Σχετζουλέρ, σχετζουλέρ, σχετζουλέρ, σχετζουλέρ. Δεν ξέρω αν το Ctuna έχει κάτι εσωτερικό, δε θέλεις να δούμε. Όχι, έχει εσωτερικό τώρα, δε θυμάμαι πως λειτουργεί. Δεν έχεις μεσέχει να καταλάβεις πως λειτουργεί το Ctuna, απλά χρησιμοποιείς την μια σημερινή σε πρώτη πάση. Δεν θα πάρετε πόνους όπως χρησιμοποιείς κάτι τέτοιο, αλλά, ειλικρινά, άμα έχεις συναρτήσει objective μαζί με το target, τελειώσει, έχει τελειώσει. Θα του πείτε θα κάνεις ξανά από 50 trials, θα αφήσει την υπολογιστή σας και μόλις θα έχει τελειώσει θα έχει το άλλο μοντέλο. Σώζει χρόνο δηλαδή από τα πειράματα, σώζει πολύ χρόνο από τα πειράματα. Ναι, δηλαδή αυτό που έχα δει, shell, shell, shell, shell, shell και να κρατάτε ένα σταθερό και να παίζετε με τα υπόλοιπα και αυτό για όλες τις παραμένες εδώ πέρα, πραγματικά θα σώσει χρόνο από εσάς. Ναι όχι ίσως, αυτό στο notebook, κάνει randomization εκεί πέρα, δηλαδή απλά βάζει πόσο, στα πέρα εκεί πέρα θα βάλει πέντε τυχαίες παραμένως. Δεν χρειάζεται να βάλουν κάποιο άλλο ορίσμα γι' αυτό. ίσως το trial θα κάνει πέντε τυχαία. Εδώ, ας πούμε όχι στο κατοικώλικο, εδώ πέρα θα πάρει ένα από αυτά, όπως είναι. Στο trial suggest int, ναι θα πάρει τυχαία τιμή, μεταξύ ενός δυο στήματος. Μπορεί να το αλλάξεις όμως. Ναι. Μπορεί να, ξέρω, να του πεις θα πάρεις μόνο ιδίκηση μέσα στο δυάστημα. Έχει πάρα πολλές παραμένες. Δηλαδή, άμα απάξει και φτιάξει αυτήν εδώ πέρα τη συνάρτηση και τρέξει, και βάλετε ο Το μόνο που θα αλλάξει είναι, εδώ πέρα, να βάλω trial suggest categorical, το μόνο που θα αλλάξει είναι, εδώ πέρα, να βάλω trial suggest categorical, το μόνο που θα αλλάξει είναι, εδώ πέρα, να βάλω trial suggest categorical, το μόνο που θα αλλάξει είναι, εδώ πέρα, να βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test, το μόνο που θα βάλω test,