Τι κάνουμε · Δίκτυο: Fabric του datacenter: EVPN/VXLAN σε Cisco Nexus
Μέσα στο Digital Realty Athens, κάθε server, blade chassis, storage host και firewall πελάτη που λειτουργούμε συνδέεται σε ένα fabric leaf και spine Cisco Nexus 9000 που τρέχει BGP EVPN με VXLAN. Κάθε host είναι dual-homed, κάθε VLAN μπορεί να ζει σε οποιοδήποτε leaf, και το gateway σας είναι η ίδια διεύθυνση παντού, ώστε οι φόρτοι εργασίας να μετακινούνται και να κάνουν failover χωρίς αλλαγή διευθύνσεων.
Τι είναι
Ένα fabric Clos: spines στην κορυφή, ζεύγη leaf από κάτω, border leaves που παραδίδουν τη δρομολογημένη κίνηση στους edge routers μας. Το EVPN είναι το control plane, οπότε τα switches μαθαίνουν πού ζει κάθε διεύθυνση μέσω BGP αντί να πλημμυρίζουν το δίκτυο για να το βρουν. Το VXLAN μεταφέρει κάθε τμήμα Layer 2 κατά μήκος του fabric, που σημαίνει ότι το δίκτυό σας δεν είναι δεμένο με το rack στο οποίο τυχαίνει να κάθεται ο server σας.
Πώς το χτίζουμε
- Spines ως καθαροί route reflectors. Κανένα tunnel endpoint δεν ζει στα spines, από σχεδιασμό.
- Leaves σε ζεύγη vPC. Οι servers συνδέονται με LACP port-channels που είναι πραγματικά virtual port-channels πάνω και στα δύο switches του ζεύγους.
- Ντετερμινιστική καλωδίωση blades. Τα blade enclosures HPE c7000 συνδέονται μέσω Cisco Nexus 2000 fabric extenders, ένας ανά πλευρά του fabric.
- Anycast gateways. Σε κάθε leaf.
- Καμία εξάρτηση από multicast. Η broadcast και η άγνωστη κίνηση αναπαράγεται με BGP ingress replication, που κρατά το underlay απλό και προβλέψιμο.
- Ένας κανόνας αρίθμησης που επιβάλλεται από μηχανή. Το αναγνωριστικό VXLAN κάθε τμήματος προκύπτει από το τοπικό του VLAN με σταθερό κανόνα, με ρητά route targets. Ένας αυτοματοποιημένος έλεγχος διαβάζει τον πλήρη χάρτη από κάθε leaf κάθε ώρα, επιβεβαιώνει ότι τα leaves είναι πανομοιότυπα και τηρούν τον κανόνα, και συγκρίνει ένα κρυπτογραφικό αποτύπωμα ολόκληρου του χάρτη με ένα υπογεγραμμένο baseline στο version control. Κάθε απόκλιση ειδοποιεί μηχανικό. Μια σκόπιμη αλλαγή πρέπει να υπογραφεί ξανά, ώστε κάθε αλλαγή στο fabric να έχει συντάκτη και ίχνος ελέγχου.
- Εγγενής δρομολόγηση για πλατφόρμες containers. Τα clusters Kubernetes και OpenShift ανακοινώνουν τις δημόσιες διευθύνσεις των services τους στο fabric μέσω eBGP από κάθε κόμβο προς τα δύο leaves του ζεύγους του, με BFD για ανίχνευση βλάβης κάτω από δύο δευτερόλεπτα και prefix lists περιορισμένες σε ακριβή host routes.
- Bonds που χρησιμοποιούν και τα δύο links. Κάθε bonded server που χτίζουμε κάνει hashing σε layer 3 και layer 4, με την πλευρά του switch ρυθμισμένη αντίστοιχα, ώστε οι παράλληλες ροές να μοιράζονται πραγματικά και στα δύο μέλη.
Από τι σας προστατεύει
- Από μια βλάβη σε ένα switch, ένα link, έναν fabric extender ή μια NIC που βγάζει τον host σας εκτός.
- Από ένα λάθος πληκτρολογημένο αναγνωριστικό VLAN ή VXLAN που γεφυρώνει αθόρυβα τα δίκτυα δύο tenants.
- Από αργό failover, όπου μια δημόσια διεύθυνση χρειάζεται λεπτά για να μετακινηθεί αντί για δευτερόλεπτα.
- Από μια ρουτίνα προσθήκη VLAN που αφαιρεί υπάρχοντα VLANs από ένα ζωντανό trunk.
- Από το να πληρώνετε για δύο links και να χρησιμοποιείτε ένα.
Στην πράξη
Failover αποδεδειγμένο με δοκιμή. Σε μια ελεγχόμενη δοκιμή βλάβης επανεκκινήσαμε έναν κόμβο ενός container cluster ενώ ήταν η προτιμώμενη διαδρομή για μια ζωντανή δημόσια διεύθυνση. Το fabric συνέκλινε σε έναν υγιή κόμβο περίπου τρία δευτερόλεπτα αργότερα, και η δημόσια διεύθυνση δεν έφυγε ποτέ από τον πίνακα δρομολόγησης του fabric.
Ένα rack με blades καλωδιωμένο πριν φτάσουν τα blades. Πριν από την έναρξη νέων πλατφορμών πελατών, χτίσαμε την πλήρη τοπολογία port-channel και vPC για ένα ολόκληρο rack blades σε μία παρτίδα, πριν υπάρξουν φυσικά τα περισσότερα από τα blades. Κάθε cluster βάσης δεδομένων τοποθετήθηκε με κάθε replica σε διαφορετικό chassis, ώστε κανένα chassis μόνο του να μην μπορεί να σπάσει το quorum. Η μέρα της έναρξης ήταν ένα power-on, όχι μια δουλειά καλωδίωσης.
Και τα δύο links κάθε bond σε χρήση. Μετά από κάθε bonded build διαβάζουμε τους μετρητές ανά θύρα για να αποδείξουμε ότι και τα δύο links μεταφέρουν κίνηση.
Γιατί EuroVPS
- Ένα πραγματικό fabric EVPN/VXLAN σε Cisco Nexus 9000, η ίδια αρχιτεκτονική που τρέχουν μεγάλες επιχειρήσεις και carriers.
- Dual-homing για κάθε host, όχι μόνο για τους ακριβούς.
- Απομόνωση tenants ελεγμένη από μηχανή κάθε ώρα, απέναντι σε υπογεγραμμένη καταγραφή του τι πρέπει να είναι το fabric.
- Ingress για containers δρομολογημένο εγγενώς με BFD, όχι κολλημένο πάνω σε έναν μοναδικό load balancer.
Συχνές ερωτήσεις
Είναι η κίνησή μου απομονωμένη από τους άλλους πελάτες; Ναι. Τα τμήματά σας έχουν δικά τους αναγνωριστικά και route targets, και ο ωριαίος έλεγχος ακεραιότητας υπάρχει ακριβώς για να είναι αδύνατο να περάσει απαρατήρητη μια τυχαία γέφυρα ανάμεσα σε tenants.
Τι συμβαίνει αν χαλάσει ένα switch; Ο server σας είναι bonded και στα δύο switches του ζεύγους και το gateway σας υπάρχει σε κάθε leaf. Η κίνηση συνεχίζει μέσα από το switch που απομένει.
Μπορώ να έχω δικά μου VLANs και subnets; Ναι. Αποκλειστικά τμήματα και δημόσια subnets χτίζονται ως anycast gateways κατά μήκος του fabric, χωρίς να αγγίζεται η διαμόρφωση κανενός άλλου.
Μπορεί το Kubernetes cluster μου να ανακοινώνει τις δικές του διευθύνσεις services; Ναι. Κάνουμε peer κάθε κόμβο με το fabric μέσω eBGP με BFD, ώστε ένας κόμβος που χάλασε να παρακάμπτεται σε δευτερόλεπτα.
Αν θέλετε τους servers σας σε ένα fabric που χτίζεται και ελέγχεται έτσι, μιλήστε με έναν μηχανικό.
Ο επόμενος συνεργάτης σας στην υποδομή
Ας δούμε την υποδομή σας.
Πείτε μας τι τρέχετε σήμερα και τι χρειάζεται βελτίωση. Ένας μηχανικός θα εξετάσει το αίτημά σας και θα σας βοηθήσει να σχεδιάσετε το επόμενο βήμα.
+357 222 32280
Ας ξεκινήσουμε από την υποδομή σας.
Λίγο πλαίσιο μάς βοηθά να ξεκινήσουμε τη σωστή συζήτηση.