Θεωρία Πληροφορίας και Κωδίκων (2023-04-21-13:10:06) / Μέρος 2 / Προγραμματισμένη Μετάδοση μαθήματος - Καλουπτσίδης Νίκος (ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ, 2023)
Προγραμματισμένη Μετάδοση μαθήματος: Πρακτικώς... Πρακτικώς... Πρακτικώς... Αυτό τι μας χάρισε, δεν μας χάρισε τρόπο να συμβεί αυτην αρχία Αλλά, ναι, βάσει αυτό, ορίσαμε την εντοπία και φτιάξαμε όλο το framework, ας πούμε, που υπάρχει στο κεφάλαιο δύο δηλαδή, άλλους πέντε ευθύνσιμους ορισμούς και αρκετά θεωρήματα που μας λένε τη σχέση μεταξύ τους Πάρα, μετά που είχαμε όλα αυτά, και τις έννοιες κάτω, και το τέριπορπορ αρχίσουμε και λέμε, και το ψάχνουμε και πρακτικά αν έχω μια κατανομή και την κωδικοποιώ, να αρχίσω να πάρω expectations και να βλέπω τι γίνεται μπορώ να το φτάσω εκεί και κατάληξαμε στο ίδιο αποτέλεσμα ότι h του x είναι μεγαλύτερο ίσο του length της κωδικοποίησης του x έχετε το h του τάρα, του κάτω προσπάθεια 1 καταλάβαμε, ένα από τα 1 θερμή κωδικοποίηση μου έρχεται το h, το κωδικοποιώ σε μια σειρά παίρνω το length, αυτό έχουμε δει ότι είναι τυχαίο άρα παίρνω το metric που είχαμε πει, ότι είναι το σημαντικό το metric που κοιτάω είναι το expectation αυτού νου και για να μην γράφουμε με αυτά, το γράφουμε έτσι όλο αυτό το length, το encoding, το γράφουμε απλά 1 του h, κατευθείαν έχετε το h και παίρνω το μήγος κωδικολέξ, που του έχω χωρέσει για αυτό που είναι και καταλήγουμε στο ίδιο ό,τι κωδικοποιήσει για να γράψω, πρακτική κωδικοποιήσω να κάνω εδώ καταμέσως όλα αυτά είναι πάνω από την ενδροπία, το ίδιο αποτέλεσμα και εδώ είμαστε και ο Huffman σου λέει, αυτό μπορεί να μην το πετύχεις πάντα δηλαδή εναπαράδειγμα βλέπαμε ότι αν το h μου είναι το 0,9, 0,9 και 0,1 και θέλω να κωδικοποιήσω μόνο ένα γράμμα τη φορά εδώ είπαμε θα πληρώσω αναγκαστικά ένα πίτ για το καθένα και ο Huffman αυτό θα μου δώσει, 0 και 1 άρα εδώ η ενδροπία θα είναι με πόσο την είχαμε βγάλει, 0,4 ξέρω εγώ, κάτι τέτοιο, 0,45 και αυτό θα είναι 1, ok δηλαδή έχουμε βγάλει αυτό αλλά για κάθε, αλλά μπορεί να μην το πετυχαίνουμε πάνω αλλά πάντα μπορείς να πετύχεις στο καλύτερο, εδώ θα θα το δώσω στο καλύτερο και είχαμε βγάλει και ένα άλλο αποτέλεσμα, ότι ισχύει και αυτό γιατί τσάντα βρήκαμε και έναν εύκολο κώδικα του Fano που το έχει το κεφαλοκόντι και σου λέει χωρίς σκέψη έχω και ένα προφανή κώδικα που μου δίνει αυτό άρα ξέρω ότι ο Βέλιστος κώδικας θα τα πάει καλύτερα από το προφανή οπότε έφυγε αυτό το τέτοιο και μετά παίρναμε, τα πάω λίγο γρήγορα γιατί έχουμε ξαναβεί μεγάλες πολλές και μετά πήραμε blocks και τέλος τώρα για να τα απολογούμε βγήκε η ίδια σκέση εδώ τώρα του L1, τώρα του X είναι block το σπάζουμε, το κουράζουμε, βρήκαμε πάλι για κάθε γράμμα αυξάνοντας το μέληφος των blocks, δηλαδή πόσο κόγω το αχείο μου αν παίρνω δεκάδες μπορώ να πάω τόσο κοντά στην ενδροπία έχει τυχή και έναν δέκα, αν πάρω εκατό δεκάδες blocks, αν πάρω blocks μεγείδους εκατό μπορώ να πάω όσο κοντά θέλω στην ενδροπία επίθακα αν το κάνω αυτό, πάρω αυτά τα δέκα της δεκάδας το αφήνω δέκα, οπότε ο κεφαλομένος μας λέει μπορείς να το κάνεις, μπορείς να πας έναν δέκα το μακριά από την ενδροπία άρα εγώ στην πράξη θέλω να πάω όσο σε δεκάδες και μου λέει ότι ο βέντιστος κόδικας πάνω σε δεκάδες θα σου δώσει αυτό το αποτέλεσμα ποιος είναι ο βέντιστος κόδικας πάνω σε δεκάδες, ο Huffman για να πάρω αυτό εδώ πέρα είναι το βέντιστο, το κεφάλαιο πέντε σου λέει ο βέντιστος ικανοποιεί αυτή τη σχέση αν είσαι τυχερός θα πες στην ενδροπία αν πάρεις πολύ μεγάλα blocks πάλι θα πάρεις αυτή την κοντά στην ενδροπία ε, ο Huffman μου δίνει αυτό το βέντιστο κόδικα αυτό που μου υπόσχεται αυτή η σχέση μου το δίνει ο Huffman και πριν το παράδειγμα που μου έδωσαν το κύρινο κέρμα, το μαραιωτικό ήταν αυτό ότι δεν παίχνουμε πάντα εδώ, το θέλει λίγη δουλίξα με λίγες ώρες για να το πιάσουμε κι αν είναι δουλίξα να πάει εδώ σωρία, κούρασα έτσι για να... αυτό είναι ο motivation για το Huffman Pro θα σβήνω και κι αυτό ήταν το κεφάλαιο μέρος τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως τελείως αυτή είναι καταγωνή της σχή και θέλουμε να δούμε κωδικοποίηση που θα επιτυχάνει το ελάχιστο expected μήκος δηλαδή θέλω να κάνω μله αυτό σε σύμβολες σειρές εντάξει που λέγαμε τώρα αυτός θα κάνει ένα τέτοιο encoding N της Q και το L του X είναι το μήκρος 8 νου αυτό που είπα πριν 1,2,3,3 και το μέτρικ που κοιτάω είναι το expectant δηλαδή ό,τι βγαίνει μέσα στους όρους ίσον 5X για κάθε X για κάθε τέτοιο υφανόνταμα μήκρος αυτό είναι το μέτρικ που θέλει να ελακστοποιηθεί και ο Huffman άλλη μία φορά μου λέει το ελάχιστο πέστιλο πράγμα οπότε Huffman είναι μια σειγμένη τέτοια είναι θέλουμε να βρούμε δηλαδή τι Huffman του X και ποια είναι τι πρέπει να δώσω εδώ πέρα για να βγουν και τα δύσκολα μήκρες να πάρω το X,X,X και να έχω το καλύτερο που μπορώ να κάνω εφόσον πιάνω θα βάλω όλα ένα και θέλω να δώσω λέμα γιατί θέλω και να μπορεί ο δικοπρέσβελος να τα αποκωδικοποιήσει οκ άρα εκεί έχουμε πάρει την ανισότητα craft στο κεφάλαιο 5 έχουμε κάποιους περιορισμούς τελικά καταλήγουμε και σε έναν φοβερό απλόζωμα ότι δεν θέλουμε κάτι με prefix codes δηλαδή prefix codes είναι να μην είναι κάθε μία εγκωδικοποιήση ας πούμε να μην έχω τέτοια πράγματα 0,1,0 δεν θέλουμε ένα άθμο αυτό γιατί θέλω όταν κάνω pass στο stream σε κάθε στιγμή να μπορώ να αποφασίσω σε εκείνη τη στιγμή εδώ αν ήρθε το 0,1 δεν μπορώ να αποφασίσω σε αυτή τη στιγμή πρέπει να δω και άλλο γράμμα για να βάλω αυτό υπάρχουν εγκωδικοποιήσεις που είναι έτσι και πάλι μπορεί να βγάλει άκραιο τυποπρέσο δηλαδή αν εδώ το μόνο άλλο μου συγκολόγικο θα δώσει αυτό τότε εδώ πάλι αυτό μπορεί να βγάλει άκραιο τυποπρέσο δεν μπορώ να κάνω αυτό που ήθελα να αποφασίσω εδώ πρέπει να δω και αυτό πάνω παραδείγματα ούτε σκαπουλάρης και έτσι να είναι αν κοιτάξεις λίγο παραπάνω μόνο μια μετάφραση υπάρχει αυτή αν το αρχαιομού ήταν αυτό δεν γίνεται να ήταν αυτό και να το κόψω εδώ γιατί μετά αυτό δεν αντισχύει κάτι άρα εδώ είναι αναγκαστικά αυτό αναγκαστικά ξεβημούσετε στο άλλο βήτη γιατί το άλλο κόψιμο δεν βγάζει κάτι οπότε πάρω και μια πιο γενική κατηγορία κοδικών που δεν είναι απροθεματική αλλά είναι χρήσιμη ένα αυτορρό αποτέλεσμα είναι ότι δεν χάνουμε κάτι να ασχοληθούμε μόνο με απροθεματικούς δηλαδή αν δεν έχεις τέτοιο φαινόμενο και όλες οι κοδικολέξεις και μπορείς να το κάνεις αυτό σε κάθε σημείο να μπορείς να αποφασίσεις ένα αποτέλεσμα στο κεφάλαιο 5 σου λέει δεν χάνεις τίποτα από την πιο γενική κατηγορία θα μιλήσαμε πάντα ότι δεν υπάρχει λάθος όχι όχι όλα χωρίς πιθανόδελα και ο χάθος που δείχνει στο αλήθως απροθεματικούς κόλπους πιστεύουμε ότι δεν υστερούν σε τίποτα από το γενικότερο περίπτωση και να μην είναι απροθεματική και να είναι απλά... και θα πάω να τρέξω το χάθος και θα βάζει όλα αυτά στη σειρά και αρχίζει από τα δύο μικρότερα και τα ενώνει ας πούμε ότι αυτό είναι το γράμμα α ακολουθεί το βιλίο 1,2,3,4,5,6,7,8,9,10 εντάξει αρχίζουν τα γράμματα και τις πιθανόδες οπότε σου ενώνει στην αρχή τα δύο μικρότερα και πρέπει να σχηματίζονται αυτά έμωσε τα δύο μικρότερα συνδύασε τις πιθανόδες τους κάνουν 1,3 και τώρα ξανακάνετε ο ίδιος βήμος πιάνει τα μικρότερα από εδώ πέρα και ενώνει τα μικρότερα από εδώ πέρα πιάνει τα μικρότερα και ας πάρουμε αυτά τα δύο κάνει την ίδια δειντά 0,45, 0,25 και 0,3 πιάνει τα μικρότερα από εδώ πέρα το έχεις ωραία και το άλλο ό,τι ήταν και τα ενώνει και αυτά στο τέλος δηλαδή ένα ένα βήμα έχει το βουλτό έχω δοσμένο πιθανόδες βρίσκω τα δύο μικρότερα και τα ενώνω και μετά κάνω το ίδιο βήμα βρίσκω τα δύο μικρότερα και τα ενώνω και σε αυτό το δέντρο που σχηματίζεται πάει και βάζει αυτά που σάβα εδώ βάζει σε κάθε μια κλάμα το συμβάζει το 0,5 και να βάλω το σιφέρι να κάνω και αυτά που είναι ανοίγια εδώ 0,1 εδώ ξανά αυτό το μονοπάτι έχει αρχίσει με 0 άρα αυτό θα είναι 0,0 αυτό 0,1 αυτός είναι ο ίδιος τον έχω κωδικοποιήσει με 1 1,0,1,1 αυτό το μονοπάτι είναι το 1,1 1,1,1 το καταλάβατε τι έκανε και έχω καταλήξει εδώ στο 5 έδωσε αυτό στο 4 έδωσε αυτό στο 2 έδωσε το 1,1 και στο 3 έδωσε αυτό το 3 ήταν αυτό το μονοπάτι είναι το 0,1 άρα 0,1,1,0 και 0,1,1 για να δούμε και τώρα στο 8 το 11 και στο 0,0 είναι στο αυτό και αυτό στο 3 έδωσε και στο 2 έδωσε το 0,1 μπέντε ρε αγάπη στο 2 έδωσε μπέντε ρε αγάπη και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 και στο 2 έδωσε το 0,1 ... ... το πρώτο χάζι με 0,1 ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...