Δική σας ή νοικιασμένη GPU: χρήση, εγγύτητα δεδομένων, υποστήριξη

Πού το νοίκι είναι η σωστή απάντηση

Μια κάρτα με την ώρα είναι το σωστό εργαλείο για ένα πείραμα, ένα burst, ένα μοντέλο που θέλετε να δοκιμάσετε για ένα απόγευμα, ή ένα training run που θα κάνετε μία φορά. Η ελαστικότητα είναι πραγματική και αξίζει να πληρωθεί όταν η δουλειά είναι διακοπτόμενη. Το ερώτημα είναι τι συμβαίνει όταν η δουλειά παύει να είναι διακοπτόμενη: ένα inference endpoint που εξυπηρετεί την εφαρμογή σας όλη μέρα, ένα νυχτερινό fine-tune, ένα pipeline embeddings που ξαναεπεξεργάζεται ένα document store κάθε εβδομάδα. Σε αυτό το σημείο η σύγκριση αλλάζει από τιμή ανά ώρα σε τιμή ανά χρήσιμη ώρα, και οι δύο αποκλίνουν.

Η χρήση είναι μέτρηση, όχι γνώμη

Το σημείο διασταύρωσης ανάμεσα σε νοίκι και κατοχή είναι ερώτημα duty cycle, και απαντιέται με δειγματοληψία και όχι με εκτίμηση. Σε ό,τι τρέχετε σήμερα, καταγράψτε τη χρήση και τη μνήμη της GPU για μια αντιπροσωπευτική εβδομάδα.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Μια κάρτα που είναι απασχολημένη λίγες ώρες τη μέρα και αδρανής τις υπόλοιπες είναι νοίκι. Μια κάρτα που είναι απασχολημένη το μεγαλύτερο μέρος της μέρας, ή που πρέπει να είναι διαθέσιμη τη στιγμή που φτάνει ένα request ανεξάρτητα από το πόσο απασχολημένη είναι, είναι μηχάνημα, γιατί η διαθεσιμότητα πληρώνεται είτε τρέχει ο μετρητής είτε όχι. Η αριθμητική για τη σύγκριση των δύο βρίσκεται στο σταματήστε να συγκρίνετε GPU με την ώρα· η παραπάνω δειγματοληψία είναι η είσοδος που χρειάζεται.

Εγγύτητα δεδομένων: το μοντέλο είναι το μικρό κομμάτι

Ένα μοντέλο είναι ένα αρχείο που χωράει σε ένα μηχάνημα. Τα δεδομένα γύρω του δεν χωράνε: το document store για το οποίο απαντά ερωτήσεις, τα embeddings που χτίστηκαν από αυτό, τα prompts και οι απαντήσεις, τα access logs που θα ζητήσει ένας ελεγκτής. Καθένα από αυτά πρέπει να είναι εκεί όπου είναι η GPU. Σε μια νοικιασμένη κάρτα, αυτό σημαίνει μεταφορά των δεδομένων στον πάροχο πριν τη δουλειά και πληρωμή για να τα βγάλετε μετά, ή να τα αφήσετε εκεί και να δεχτείτε ότι τα δεδομένα πλέον ζουν όπου ζει το storage του παρόχου.

Σε ένα δικό σας μηχάνημα τα δεδομένα και η κάρτα μοιράζονται ένα rack. Το storage από κάτω είναι all-flash, το δίκτυο ανάμεσά τους είναι δικό μας, και τίποτα δεν περνάει όριο public cloud για να επεξεργαστεί. Το παράδειγμα που χτίζουμε συχνότερα είναι ένα ιδιωτικό inference endpoint για αρχεία που δεν μπορούν να φύγουν από τον οργανισμό: ιατρικά αρχεία που αναλύονται από τοπικό μοντέλο μέσα στο Digital Realty Athens, με τα αρχεία, το μοντέλο και τα logs στο ίδιο μηχάνημα και το endpoint προσβάσιμο μόνο από το δίκτυο του ίδιου του πελάτη. Το μοτίβο περιγράφεται στο ένα AI endpoint που δεν είναι στο internet.

Δικαιοδοσία, που την κρίνει η γεωγραφία

Για φόρτους που πρέπει να μένουν υπό δίκαιο ΕΕ, τοποθετούμε το μηχάνημα στο Digital Realty Athens ή στο Digital Realty Amsterdam (AMS18). Το hardware, ο πάροχος και τα δεδομένα βρίσκονται τότε υπό μία δικαιοδοσία, και το ερώτημα που κάνει πρώτο ένας ελεγκτής, ποιος άλλος είναι σε αυτό το silicon και ποιος μπορεί να υποχρεωθεί να φτάσει σε αυτό, έχει σύντομη απάντηση: κανένας άλλος, και ο πάροχος που κάθεται απέναντί σας. Τα κοινόχρηστα και κλασματικά προϊόντα GPU βάζουν άλλους tenants στο ίδιο die. Ένα dedicated instance σε hyperscaler αφαιρεί τους γείτονες από την κάρτα αλλά κρατάει τα κοινόχρηστα επίπεδα hypervisor, δικτύου και storage, και η δικαιοδοσία είναι όποια είναι του παρόχου.

Υποστήριξη είναι ένας άνθρωπος που έχτισε το box

Μια νοικιασμένη ώρα έρχεται με ένα API και μια σελίδα status. Ένα δικό σας μηχάνημα έρχεται με τους μηχανικούς που το τοποθέτησαν στο rack, εγκατέστησαν το driver stack, ρύθμισαν τη διαδρομή storage και καλωδίωσαν το δίκτυο. Όταν ένα container δεν βλέπει την κάρτα μετά από ενημέρωση πυρήνα, ή το αποτύπωμα μνήμης του inference server αλλάζει ανάμεσα σε εκδόσεις μοντέλου, το ticket πηγαίνει σε κάποιον που μπορεί να διαβάσει το box. Το μηχάνημα αλλάζει επίσης όταν το αποφασίζετε εσείς: χωρίς ανακλήσεις, χωρίς μετακινήσεις στόλου, χωρίς απόσυρση της κάρτας για την οποία ρυθμίσατε με το πρόγραμμα κάποιου άλλου.

Ποια κάρτα, και πόσο γρήγορα

Ό,τι χρειάζεται ο φόρτος: A100, H100, L40, L40S και άλλες, διαστασιολογημένες για το μοντέλο και το batch size και όχι για μια κατηγορία καταλόγου. Ένα μοντέλο κλάσης 70B με τη σωστή κβάντιση χωράει σε 48 GB μνήμης GPU, κάτι που κρίνει την κάρτα πριν από τον προϋπολογισμό. Τα μηχανήματα παραδίδονται με χρόνο 48 ωρών σε Αθήνα, Άμστερνταμ ή Τορόντο, με τις τοποθετήσεις δικαιοδοσίας ΕΕ στις δύο πρώτες.