Τα Big Data και οι σόλες των παπουτσιών

Κείμενο του Matt Quinn* στο All Things D ( 15/10/13)
Τη μετάφραση επιμελήθηκε ο Λάζαρος Αγαπίδης.

Αρκετά έχουν γραφτεί για τα Big Data κατά τη διάρκεια των τελευταίων ετών. Μεγάλο μέρος αυτού του ντόρου είναι δικαιολογημένο επειδή τα Big Data αντιπροσωπεύουν μια τεράστια παραδειγματική στροφή στον τρόπο που σκεφτόμαστε για τα δεδομένα και την επιρροή που έχουν σε κάθε πτυχή της προσωπικής και της επαγγελματικής μας ζωή.

Αλλά δεν νομίζω ότι οι περισσότεροι το κατανοούν.   Τα Big Data είναι πολύ μεγάλα και πολύ αφηρημένα για τους περισσότερους ανθρώπους να τα κατανοήσουν πραγματικά.  Για πολλούς, μοιάζει με μία ακόμα έξυπνη ονομασία για τον ανηλεή αγώνα ανταγωνισμού στον τομέα της τεχνολογίας στον οποίο έχουμε ήδη τυλιχθεί εδώ και 30 χρόνια .

Αντί να σας περιγράψω ένα μεγαλοπρεπές όραμα για τα Big Data, ας τα κοιτάξουμε από την άποψη ενός ζευγαριού παπουτσιών.  Όχι όλα τα παπούτσια, μόνο ένα απλό ζευγάρι παπούτσια.  Ναι, ένα ζευγάρι παπούτσια = Big Data.

Πώς μπορεί ένα απλό ζευγάρι μαύρα Nike παπούτσια μεγέθους 45 να αντιπροσωπεύει την αλήθεια πίσω από τα Big Data?  Επιτρέψτε μου να εξηγήσω.

Ένα σύνθετο ταξίδι

Αυτά τα συγκεκριμένα  παπούτσια (που σήμερα κοσμούν τα μεσαίου μεγέθους πόδια μου) έφτασε σε μένα μέσω μιας απλής μεταφορικής υπηρεσίας.  Τα αγόρασα από ένα μεγάλο online κατάστημα μετά από κάποια έρευνα στο Διαδίκτυο.  Όχι πολλά πράγματα.  Διάβασα δυο σχόλια και είδα ένα βίντεο.  Μου αρέσουν.  Είναι αρκετά άνετα παπούτσια.

Τώρα κοίταξε τα δικά σου παπούτσια.  Πραγματικά, δες τα.  Σκέψου το ταξίδι που αυτό το ζευγάρι παπουτσιών έχει κάνει για να φτάσει στα πόδια σου.

Στην αρχή, τα παπούτσια σου ξεκινούν όχι ως φυσικό αντικείμενο, αλλά ως μια σειρά από ηλεκτρονικά έγγραφα μεταξύ του κατασκευαστή υποδημάτων (ας χρησιμοποιήσει την Nike που ανέφερα και πιο πάνω) και των προμηθευτών των πρώτων υλών (καουτσούκ, ύφασμα, δέρμα, κλπ).  Η ανταλλαγή δεδομένων ξεκινάει τη στιγμή που κάνεις κλικ στο κουμπί «Αγορά».  Η ηλεκτρονική σου αγορά δημιουργεί έγγραφα που περιέχουν στοιχεία σχετικά με τις προτιμήσεις σου για τα παπούτσια (μέγεθος, στυλ, χρώμα, κλπ), τα τιμολόγια, τις τιμές και τις πληροφορίες χρέωσης, καθώς και άλλα κομμάτια δεδομένων που απαιτούνται για να ολοκληρώσεις την ηλεκτρονική σου αγορά.

Η Nike επεξεργάζεται τότε τη παραγγελία σου, και αυτό δημιουργεί ακόμα περισσότερα δεδομένα που περιέχουν την παραγγελία, τον πελάτη, τα στοιχεία απογραφής και logistics που ανταλλάσσονται μεταξύ του Web και των back-office συστημάτων.  Αλλά σε αυτό το στάδιο, τα παπούτσια σου δεν μοιάζουν με αυτό που βλέπεις σήμερα κοιτάζοντας τα πόδια του.  Σε φυσικό επίπεδο, τα παπούτσια σου είναι ακόμα κομμάτια πρώτων υλών σε μία κλωστοϋφαντουργική αποθήκη του προμηθευτή.  Ηλεκτρονικά, υπάρχουν ως κομματάκια δεδομένων που υποβάλλονται σε επεξεργασία από κάθε μηχάνημα στο χώρο του κλωστοϋφαντουργικού εργοστασίου.  Η διαδικασία της μετατροπής των πρώτων υλών σε κάτι που μπορεί να χρησιμοποιηθεί σε ένα παπούτσι μπορεί να δημιουργήσει κυριολεκτικά δεκάδες χιλιάδες στοιχεία πληροφοριών - απλά πράγματα, όπως την τρέχουσα θερμοκρασία της υφαντικής μηχανής ή πιο πολύπλοκες πληροφορίες όπως η ύφανση του υφάσματος ή το σχέδιο του ίδιου του παπουτσιού.  Κάθε δευτερόλεπτο, αυτές οι υφαντικές μηχανές στέλνουν πληροφορίες για την κατάσταση τους, καθώς ταξινομούν, οργανώνουν και συσκευάζουν τα διάφορα κομμάτια υλικού που θα γίνουν τελικά τα παπούτσια σας.

Έτσι τώρα τα παπούτσια σας αρχίζουν να μοιάζουν περισσότερο σε παπούτσια. Όμως το ταξίδι τους δεν έχει ολοκληρωθεί.  Ούτε κατά διάνυα.

Μόλις τα υφάσματα συσκευαστούν, θα πρέπει να φτάσουν στην Nike για τη συναρμολόγηση.  Πώς θα φτάσουμε εκεί;  Μέσω απλών υπηρεσιών μεταφορών (UPS, FedEx, USPS).  Ο κλωστοϋφαντουργός κατασκευαστής διαθέτει ένα εσωτερικό σύστημα μεταφοράς και logistics, όπου καταχωρούνται οι πληροφορίες αποστολής (διεύθυνση, δηλαδή της Nike).  Ανάλογα με το πόσο μακριά το εργοστάσιο κλωστοϋφαντουργίας είναι από το εργοστάσιο παραγωγής της Nike, κάθε συσκευασία θα σαρωθεί ηλεκτρονικά από την εταιρία μεταφορών εκατοντάδες φορές. Κάθε στοιχείο της σάρωσης - η αναχώρηση του πακέτου από την κλωστοϋφαντουργική εταιρία, η άφιξη του σε μεγάλη αποθήκη κάπου στην Ιντιάνα, και η άφιξη στην αποθήκη της Nike - καταγράφεται για να επιτρέψει στην εταιρεία logistics να παρακολουθεί κάθε πακέτο μέσω του συστήματός της.  Αυτή η πληροφορία στη συνέχεια αναμιγνύεται μαζί με όλα τα άλλα πακέτα στο σύστημα για να επιτρέψει την βελτιστοποίηση του δικτύου μεταφορών.

Εντάξει, τα παπούτσια σου – σε κλωστοϋφαντουργική μορφή - είναι τώρα στη Nike.  Αλλά είναι ακόμα ένα κουτί με υφάσματα, καουτσούκ, δέρματα και άλλα υλικά.  Δεν είναι ακόμη τα άνετα παπούτσια μεγέθους 45 που έχετε παραγγείλει.  Τι γίνεται τώρα;  Αφού φτάσει η συσκευασία στη Nike, κι άλλα ηλεκτρονικά έγγραφα ανταλλάσσονται μεταξύ της υφαντουργίας και της Nike, μέσα στα οποία το κουτί με τα «όχι ακόμα παπούτσια» σου καταγράφεται και ανοίγεται.

Τώρα βρισκόμαστε στο στάδιο συναρμολόγησης, όπου τα παπούτσια σου μετατρέπονται από ένα σορό υλικά σε ένα ολοκληρωμένο ζευγάρι παπουτσιών.   Όπως συνέβη και στα προηγούμενα στάδια, η συναρμολόγηση περιλαμβάνει ένα τεράστιο ποσό μεταφοράς δεδομένων από μηχανή σε μηχανή.  Τα παπούτσια σου περνάνε μέσα από τέσσερις διαφορετικές διαδικασίες - κοπή, κλείσιμο, σκλήρυνση και φινίρισμα - πριν μπορούν να φορεθούν.  Σε κάθε στάδιο, παράγονται χιλιάδες στοιχεία πληροφοριών.  Παράγγειλες τα παπούτσια σου στο αγαπημένο σου χρώμα;  Αυτό έχει καταγραφεί και ενημερώνεται η γραμμή συναρμολόγησης.  Ήθελες να έχουν την ολοκαίνουργια και μοναδική μαλακή σόλα για να ανακουφίζονται οι πόνοι στην γάμπα σου;  Κάθε μηχανή πρέπει να το γνωρίζει αυτό, έτσι ώστε αυτό που έχεις παραγγείλει να είναι αυτό που θα πάρεις.

Επιτέλους, τα παπούτσια σου είναι το σωστό μέγεθος, σχήμα και χρώμα, και το πιο σημαντικό, είναι πραγματικά παπούτσια.  Αλλά δεν έχουν φτάσει ακόμα στο κατώφλι του σπιτιού σου.  Ας δούμε ξανά τις μεταφορικές υπηρεσίες οι οποίες θα μεταφέρουν τα παπούτσια σου από το εργοστάσιο κατασκευής της Nike στα πόδια σου.  Και πάλι, οι λεπτομέρειες σχετικά με την μεταφορά αποστέλλονται μέσω του εσωτερικού συστήματος logistics της Nike.  Από εκεί, η μεταφορική εταιρία παραλαμβάνει το δέμα και το σαρώνει ηλεκτρονικά στο σύστημά της.  Κάθε σάρωση είναι κρίσιμη, δεδομένου ότι ενημερώνει εσένα, τον πελάτη ακριβώς το που βρίσκεται η συσκευασία σου.  Πληροφορίες για την τοποθεσία και την ώρα συλλέγονται κατά τη διάρκεια κάθε σάρωσης και, στη συνέχεια, σαν μία πέτρα που πετάγεται στο νερό, αυτές οι μικρές σαρώσεις δημιουργούν τεράστια κύματα δεδομένων μεταξύ των συστημάτων μεταφορών και logistics.  Τα συστήματα αυτά συσχετίζουν όλα αυτά τα δεδομένα τοποθεσίας και χρόνου με τα μετεωρολογικά δεδομένα, καταστάσεις δικτύου, διακοπές, τελωνεία, κλπ, όλα σε μια προσπάθεια να σου δώσει τον πιο ακριβή χρόνο παράδοσης.

Αλλά είναι γεγονός ότι όλα τα εκατομμύρια των πακέτων που παραδίδονται καθημερινά δεν φτάνουν πάντα στον προορισμό τους χωρίς εμπόδιο.  Μια μεγάλη καταιγίδα ξεσπά στο αεροδρόμιο κοντά τον κατασκευαστή ή υπάρχει κυκλοφοριακή συμφόρηση, ή ένα φορτηγό παθαίνει βλάβη απροσδόκητα.  Αυτά τα πράγματα συμβαίνουν καθημερινά, και κάθε καθυστέρηση δημιουργεί ακόμα περισσότερες πληροφορίες καθώς τα συστήματα που διαχειρίζονται το πακέτο προσπαθήσουμε να βρούμε την βέλτιστη διαδρομή.  Φανταστείτε το:  εκατομμύρια πακέτα, κάθε μέρα, δημιουργούν τεράστιες ποσότητες πληροφοριών κάθε δευτερόλεπτο, όλα για να εκπληρώσει την υπόσχεση του ο πωλητής.

Μέχρι τώρα, έχουμε αγνοήσει τις σχετικές χρηματοοικονομικές συναλλαγές μεταξύ σου, τον πελάτη, της κλωστοϋφαντουργίας και του κατασκευαστή υποδημάτων.  Οι τράπεζες για λογαριασμό των τριών κομμάτων εργάζονται με πρόσθετα στοιχεία στο παρασκήνιο για να επιβεβαιώσει τις πληρωμές σου και ότι όλη η διαδικασία συνεχίζεται ομαλά.

Όλα αυτά γίνονται για ένα σχετικά μικρό κουτί παπουτσιών.  Ένα παπούτσι μπορεί να απαιτεί στοιχεία και υλικά από πάρα πολλούς προμηθευτές.  Η ποσότητα των δεδομένων που παράγεται και αποθηκεύεται συνεχίζει και αυξάνεται.  Πληροφορίες δεν δημιουργούνται μόνο για το φυσικό υλικό και την απογραφή, αλλά κάθε εφαρμογή και σύστημα στην διαδικασία παράγει επίσης πληροφορίες, καταγράφοντας στοιχεία όπως την υγεία των συστημάτων.  Κάθε φορά που ένα σύστημα κάνει οτιδήποτε, αυτή η δράση καταγράφεται  σε αρχεία.  Η ποσότητα των δεδομένων που προκύπτουν από την κατασκευή και την παράδοση ενός 80 δολαρίων ζευγαριού παπουτσιών είναι συγκλονιστική.

Ξεχάστε τα Big Data. Σκεφτείτε τα Small Data.

Τα Big Data δίνουν περισσότερο την έμφαση το «Big» και λιγότερο στα «Data». Σας ενθαρρύνω να σκεφτείτε περισσότερο τα small data.  Αυτά τα δεδομένα είναι ό, τι συμβαίνει κάθε στιγμή της ημέρας.  Το ταπεινό ζευγάρι παπούτσια αντιπροσωπεύει τα small data.  Είναι ένα ζευγάρι παπούτσια.  Δεν φιλοδοξεί να γίνει ένα διαστημικό λεωφορείο.  Αλλά αυτό το ζευγάρι παπούτσια έχει δημιουργήσει μία τεράστια ποσότητα δεδομένων στο ταξίδι του με προορισμό τα πόδια σου.

Τα small data αντιπροσωπεύουν τη βρύση που συνέχεια στάζει πληροφορίες που παράγονται κάθε μέρα.  Από την παραγγελία τροφίμων σε ένα εστιατόριο στο να επισκεφτείς μια ιστοσελίδα στο να αγοράσεις ένα ζευγάρι παπούτσια, αυτή η βρύση δεν σταματά ποτέ.  Η ποσότητα των small data ξεπερνάει κατά μεγάλο βαθμό την ποσότητα των Big Data.

* Ο Matt Quinn είναι CTO της TIBCO, μία εταιρία Big Data στο Palo Alto, όπου ηγείται το τεχνολογικό όραμα της εταιρείας, μια σειρά από επιτυχημένες εξαγορές υψηλού προφίλ καθώς και τη γενική καθοδήγηση και συντονισμό των σχεδίων του προϊόντος TIBCO και την κατεύθυνση της τεχνολογίας.