Δηλωτικά προγράμματα κατανεμημένης επεξεργασίας σε υποδομές Big Data
Description:
Η διαχείριση και ανάλυση δεδομένων έχει μπει σε μία νέα φάση, όπου οι τεχνολογίες αιχμής αφορούν πολύ μεγάλους όγκους κατανεμημένων δεδομένων. Σε αντίθεση με το μέχρι πρόσφατα παγιωμένο μοντέλο της SQL, αυτό το νέο υπολογιστικό περιβάλλον παρέχει μεγάλη εκφραστικότητα για τον ορισμό τελεστών που θα εφαρμοστούν στα δεδομένα, η οποία ξεπερνά κατά πολύ την αναζήτηση και απλή συγκέντρωση στοιχείων.
Το υπολογιστικό όφελος είναι μεγάλο, καθώς οι προγραμματιστές εφαρμογών μπορούν να μεταφέρουν μεγαλύτερο μέρος του υπολογισμού στους κατανεμημένους κόμβους. Από την άλλη όμως, οι προγραμματιστές εφαρμογών αποκτούν την υποχρέωση να προγραμματίζουν σε ένα πολύ πιο χαμηλό, επίπονο, και επιρρεπές σε σφάλματα επίπεδο από αυτό της SQL. Η ανάγκη για ένα νέο μοντέλο δηλωτικής πρόσβασης σε δεδομένα είναι έντονη και άμεση.
Μία από τις σχετικές προσπάθειες βασίζεται στην μεταφορά της παλαιότερης έννοιας των tagged dataflows σε σύγχρονα υπολογιστικά περιβάλλοντα. Σκοπός της διπλωματικής είναι η ανάπτυξη βελτιστοποιήσεων και η υλοποίηση μεταφραστή για προγράμματα γραμμένα χρησιμοποιώντας tagged dataflows.
Η διπλωματική δίνει την ευκαιρία στον φοιτητή να πειραματιστεί με τεχνολογίες αιχμής στην διαχείριση και ανάλυση δεδομένων πολύ μεγάλης κλίμακας.
Δεν απαιτείται καθημερινή παρουσία στο ΕΚΕΦΕ "Δημόκριτος" αλλά μόνο
τακτικές συναντήσεις επίβλεψης.
Ενδεικτική βιβλιογραφία
Angelos Charalambidis, Nikolaos Papaspyrou and Panos Rondogiannis,
""Tagged Dataflow: a Formal Model for Iterative Map-Reduce"".
In Proceedings EDBT/ICDT Workshops,
Algorithms for MapReduce and Beyond, Athens, Greece, 28 March 2014.
K. Arvind and D. Culler, ""The tagged token dataflow
architecture."" Technical report, Laboratory for Computer Science,
MIT, Cambridge, MA, 1983.
Jack B. Dennis and David P. Misunas,
"A preliminary architecture for a basic data-flow processor".
In Proceedings of the 2nd Annual Symposium on Computer
Architecture (ISCA '75). ACM, 1975.