Τι είναι οι κατανεμημένοι και οι παράλληλοι υπολογιστές;

Ο κατανεμημένος και ο παράλληλος υπολογισμός είναι δύο παραδείγματα για την εκτέλεση υπολογισμών που μπορούν να αναλυθούν σε μικρότερες, ανεξάρτητες εργασίες. Και τα δύο παραδείγματα εκμεταλλεύονται τη διαθεσιμότητα πολλαπλών επεξεργαστών για να επιτύχουν υψηλότερη απόδοση από αυτή που θα ήταν δυνατή με έναν μόνο επεξεργαστή. Ωστόσο, υπάρχουν ορισμένες σημαντικές διαφορές μεταξύ των δύο παραδειγμάτων.

Κατανεμημένος υπολογισμός περιλαμβάνει τη διανομή των εργασιών ενός υπολογισμού σε ένα δίκτυο υπολογιστών, καθένας από τους οποίους έχει τη δική του μνήμη και μονάδα επεξεργασίας. Οι υπολογιστές σε ένα κατανεμημένο σύστημα μπορούν να βρίσκονται οπουδήποτε στον κόσμο και μπορεί να είναι διαφορετικών τύπων και μεγεθών. Ο κατανεμημένος υπολογισμός χρησιμοποιείται συχνά για υπολογισμούς μεγάλης κλίμακας που απαιτούν την επεξεργαστική ισχύ πολλών υπολογιστών, όπως πρόβλεψη καιρού, μοντελοποίηση κλίματος και οικονομικές προσομοιώσεις.

Παράλληλοι υπολογιστές περιλαμβάνει την εκτέλεση πολλαπλών εργασιών ταυτόχρονα σε έναν μόνο υπολογιστή που έχει πολλούς επεξεργαστές. Οι επεξεργαστές σε έναν παράλληλο υπολογιστή μπορούν να βρίσκονται σε ένα μόνο τσιπ ή μπορούν να κατανεμηθούν σε πολλά τσιπ. Ο παράλληλος υπολογισμός χρησιμοποιείται συχνά για υπολογιστικά εντατικές εργασίες που μπορούν να αναλυθούν σε ανεξάρτητες δευτερεύουσες εργασίες, όπως η επεξεργασία βίντεο, η επεξεργασία εικόνας και οι επιστημονικές προσομοιώσεις.

Η κύρια διαφορά μεταξύ κατανεμημένου και παράλληλου υπολογισμού είναι η θέση των επεξεργαστών που χρησιμοποιούνται για την εκτέλεση των υπολογισμών. Στους κατανεμημένους υπολογιστές, οι επεξεργαστές βρίσκονται σε διαφορετικούς υπολογιστές, ενώ στον παράλληλο υπολογισμό, οι επεξεργαστές βρίσκονται στον ίδιο υπολογιστή. Αυτή η διαφορά έχει αρκετές επιπτώσεις στον τρόπο με τον οποίο δομούνται και εκτελούνται οι κατανεμημένοι και παράλληλοι υπολογισμοί.

Επιβαρύνσεις επικοινωνίας είναι ένα σημαντικό ζήτημα στον κατανεμημένο υπολογισμό, καθώς οι επεξεργαστές πρέπει να επικοινωνούν μεταξύ τους μέσω ενός δικτύου. Αυτή η επικοινωνία μπορεί να εισάγει σημαντικές καθυστερήσεις, οι οποίες μπορούν να επιβραδύνουν τον υπολογισμό. Στον παράλληλο υπολογισμό, η επιβάρυνση της επικοινωνίας είναι συνήθως πολύ χαμηλότερη, καθώς οι επεξεργαστές μπορούν να επικοινωνούν μεταξύ τους απευθείας μέσω κοινής μνήμης.

Ανοχή σφαλμάτων είναι ένα άλλο σημαντικό ζήτημα στον κατανεμημένο υπολογισμό, καθώς οι υπολογιστές σε ένα κατανεμημένο σύστημα μπορεί να αποτύχουν ανεξάρτητα ο ένας από τον άλλο. Αυτό σημαίνει ότι οι κατανεμημένοι υπολογισμοί πρέπει να σχεδιάζονται έτσι ώστε να ανέχονται αστοχίες και να συνεχίζουν να εκτελούνται ακόμη και αν κάποιοι από τους υπολογιστές του συστήματος αποτύχουν. Στον παράλληλο υπολογισμό, η ανοχή σφαλμάτων είναι συνήθως λιγότερο ανησυχητική, καθώς οι επεξεργαστές σε έναν παράλληλο υπολογιστή είναι συνήθως στενά συνδεδεμένοι και είναι απίθανο να αποτύχουν ανεξάρτητα ο ένας από τον άλλο.

Επεκτασιμότητα είναι μια σημαντική παράμετρος τόσο για κατανεμημένους όσο και για παράλληλους υπολογιστές. Οι κατανεμημένοι υπολογισμοί μπορούν να κλιμακωθούν προσθέτοντας περισσότερους υπολογιστές στο σύστημα, ενώ οι παράλληλοι υπολογισμοί μπορούν να κλιμακωθούν προσθέτοντας περισσότερους επεξεργαστές στον υπολογιστή. Ωστόσο, υπάρχουν όρια στην επεκτασιμότητα τόσο των κατανεμημένων όσο και των παράλληλων υπολογισμών. Στους κατανεμημένους υπολογιστές, η επεκτασιμότητα περιορίζεται από το εύρος ζώνης του δικτύου και τα γενικά έξοδα επικοινωνίας. Στον παράλληλο υπολογισμό, η επεκτασιμότητα περιορίζεται από τον αριθμό των επεξεργαστών που μπορούν να χρησιμοποιηθούν αποτελεσματικά σε έναν μόνο υπολογιστή.

Γενικά, ο κατανεμημένος υπολογισμός είναι πιο κατάλληλος για υπολογισμούς μεγάλης κλίμακας που μπορούν να διανεμηθούν σε ένα δίκτυο υπολογιστών, ενώ ο παράλληλος υπολογισμός είναι πιο κατάλληλος για υπολογιστικά εντατικές εργασίες που μπορούν να αναλυθούν σε ανεξάρτητες δευτερεύουσες εργασίες και να εκτελεστούν ταυτόχρονα σε έναν μόνο υπολογιστή.