Τι να ρωτήσετε έναν πάροχο GPU πριν υπογράψετε

Οι προσφορές GPU μοιάζουν ίδιες από μακριά: ένα όνομα κάρτας, ένας χρόνος παράδοσης, μια τιμή. Από κοντά, δύο προσφορές με το ίδιο όνομα κάρτας μπορεί να είναι πολύ διαφορετικά προϊόντα, και οι διαφορές κρίνουν αν το μοντέλο σας θα τρέχει καλά, αν τα δεδομένα σας θα μένουν εκεί που τα χρειάζεστε, και αν η πλατφόρμα θα είναι ακόμα δική σας να βασίζεστε πάνω της του χρόνου. Αυτές είναι οι ερωτήσεις που θα κάναμε σε οποιονδήποτε πάροχο, και στον εαυτό μας, και πώς να ελέγξετε τις απαντήσεις μόλις ο server βρεθεί στα χέρια σας.

Για το hardware

1. Ποια κάρτα ακριβώς; Ένα όνομα μοντέλου δεν είναι προδιαγραφή. Η ίδια οικογένεια έρχεται με διαφορετικά μεγέθη μνήμης και σε διαφορετικές μορφές, ως κάρτα PCIe ή ως module σε πλακέτα με σύνδεσμο υψηλής ταχύτητας ανάμεσα στις GPU. Για μεγάλα μοντέλα, η μνήμη της GPU κρίνει τι χωράει, και για δουλειά σε πολλές GPU, ο σύνδεσμος ανάμεσα στις κάρτες κρίνει πόσο καλά κλιμακώνει. Ζητήστε την ακριβή παραλλαγή γραπτώς.

2. Είναι αποκλειστική, ή ένα κομμάτι; Μια GPU μπορεί να χωριστεί σε partitions ή να μοιράζεται χρονικά ανάμεσα σε πελάτες. Αυτό είναι εντάξει όταν το ξέρετε και όταν τιμολογείται ανάλογα. Δεν είναι εντάξει όταν πιστεύετε ότι έχετε ολόκληρη κάρτα. Ρωτήστε αν παίρνετε ολόκληρη τη φυσική συσκευή, και αν ο φόρτος κάποιου άλλου τρέχει πάνω της.

3. Τι περιβάλλει την κάρτα; Μια γρήγορη GPU που λιμοκτονεί από έναν αργό host είναι αργή GPU. Ρωτήστε για τους επεξεργαστές, πόση μνήμη συστήματος υπάρχει ανά GPU, πόσες λωρίδες PCIe φτάνουν σε κάθε κάρτα, τοπικό NVMe για τα βάρη των μοντέλων και τα datasets, και το δίκτυο ανάμεσα στους servers αν θα εκπαιδεύετε σε περισσότερους από έναν.

4. Πότε μπορώ να τον έχω; Ζητήστε έναν χρόνο παράδοσης με τον οποίο μπορείτε να προγραμματίσετε, και αν είναι ο ίδιος για έναν δεύτερο server όταν ο πρώτος σας πετύχει.

Για το πού ζει

5. Πού βρίσκεται φυσικά, και υπό ποια δικαιοδοσία; Αν επεξεργάζεστε δεδομένα υγείας, νομικά, οικονομικά ή προσωπικού, η χώρα και η νομική οντότητα που λειτουργεί το hardware μετράνε όσο και το hardware. Ζητήστε το datacenter, όχι το όνομα της περιοχής.

6. Ποιος έχει πρόσβαση στον server και στα δεδομένα του; Ρωτήστε ποιος κρατά διαχειριστική πρόσβαση, αν τα remote hands μπορούν να αγγίξουν το μηχάνημα, πώς καταγράφεται η πρόσβαση, και τι συμβαίνει στους δίσκους όταν λήξει η σύμβαση. Μια καλή απάντηση κατονομάζει τη μέθοδο διαγραφής και προσφέρει πιστοποιητικό.

7. Στέλνεται κάτι σε εξωτερική υπηρεσία; Ορισμένες προσφορές managed AI καταγράφουν prompts και εξόδους, ή δρομολογούν ορισμένα αιτήματα σε μοντέλο τρίτου. Ρωτήστε ευθέως αν οποιοδήποτε περιεχόμενο, prompt, completion, embedding ή log, φεύγει από τον server ή από το δίκτυο του παρόχου, και πάρτε την απάντηση μέσα στη σύμβαση.

Για το λογισμικό

8. Ποιος συντηρεί το driver stack; Οι drivers της GPU, το CUDA runtime και το container toolkit πρέπει να ταιριάζουν μεταξύ τους και με τον kernel. Ρωτήστε ποιος τα ενημερώνει, πώς δοκιμάζονται, και αν τα kernel modules είναι υπογεγραμμένα ώστε ο server να τρέχει με Secure Boot και με την πολιτική ασφαλείας που περιμένετε σε κάθε άλλο μηχάνημα.

9. Μπορώ να τρέξω containers με την GPU, καθαρά; Τα περισσότερα AI stacks έρχονται ως containers. Το container runtime πρέπει να βλέπει την GPU μέσω του container toolkit του κατασκευαστή, χωρίς να τρέχετε privileged containers για να φτάσετε εκεί.

10. Μπορείτε να τρέξετε το model stack, ή μόνο να μου νοικιάσετε το κουτί; Το να σερβίρεις καλά ένα μοντέλο περιλαμβάνει batching, επιλογές quantisation, έναν inference server, ένα embedding model και συνήθως μια vector database. Ορισμένοι πάροχοι σας δίνουν έναν κωδικό root και φεύγουν. Αν θέλετε το stack χτισμένο και σε λειτουργία, ρωτήστε ποιος θα το κάνει, και ζητήστε ένα endpoint που μιλά τη μορφή API που ήδη χρησιμοποιούν οι εφαρμογές σας, ώστε η μετακίνηση ανάμεσα σε ένα δημόσιο API και στο δικό σας μοντέλο να είναι αλλαγή ρύθμισης, όχι ξαναγράψιμο.

Για την έκθεση και το κόστος

11. Είναι το endpoint στο δημόσιο internet; Ένα inference endpoint σε δημόσια διεύθυνση είναι επιφάνεια επίθεσης και ένας λογαριασμός που περιμένει να τον φουσκώσει κάποιος άλλος. Ρωτήστε αν μπορεί να είναι προσβάσιμο μόνο από το ιδιωτικό σας δίκτυο.

12. Από τι εξαρτάται το κόστος; Το σταθερό μηνιαίο hardware συμπεριφέρεται πολύ διαφορετικά από τη χρέωση ανά token ή ανά request καθώς η χρήση μεγαλώνει. Ρωτήστε τι αλλάζει την τιμή, και αν ισχύουν rate limits σε hardware που πληρώνετε.

Επαληθεύστε από την πρώτη μέρα

Μόλις ο server γίνει δικός σας, ελέγξτε ότι είναι αυτό που υποσχέθηκαν:

nvidia-smi
nvidia-smi -q | grep -E 'Product Name|Serial|Memory|ECC|Persistence|Power Limit'
nvidia-smi topo -m
nvidia-smi -q -d PERFORMANCE
lspci | grep -i nvidia
mokutil --sb-state

Το nvidia-smi -q επιβεβαιώνει το ακριβές προϊόν και τη μνήμη του, και δείχνει αν το ECC είναι ενεργό και αν έχουν καταγραφεί σφάλματα. Το topo -m δείχνει πώς συνδέονται οι GPU μεταξύ τους και με τους επεξεργαστές, που σας λέει αν η κίνηση ανάμεσα σε πολλές GPU παίρνει γρήγορη διαδρομή. Η ενότητα performance αναφέρει τα clocks και τυχόν λόγους throttling, όπως όρια ισχύος ή θερμοκρασίας, που θέλετε να τους βλέπετε καθαρούς υπό συνεχές φορτίο. Αν χρησιμοποιείται partitioning, φαίνεται κι αυτό εδώ. Τέλος, τρέξτε το δικό σας μοντέλο με τα δικά σας δεδομένα στην αναμενόμενη συγχρονική χρήση και μετρήστε tokens ανά δευτερόλεπτο και latency. Αυτό είναι το benchmark που μετράει.

Πώς απαντάμε εμείς

Προμηθεύουμε την NVIDIA data center GPU που ζητά ο φόρτος σας, A100, H100, L40, L40S και άλλες, ως αποκλειστικό hardware σε enterprise πλατφόρμες HPE και Dell, με χρόνο παράδοσης 48 ωρών, στα datacenters μας σε Αθήνα και Άμστερνταμ εντός ΕΕ. Οι GPU servers χτίζονται όπως κάθε άλλος server που λειτουργούμε: kernel modules υπογεγραμμένα από τον κατασκευαστή, Podman με το NVIDIA container toolkit, SELinux enforcing. Όταν χτίζουμε το ιδιωτικό AI stack από πάνω, τα μοντέλα σερβίρονται μέσω OpenAI-compatible endpoints σε απομονωμένο τμήμα δικτύου, και τίποτα στη διαδρομή του περιεχομένου δεν καλεί εξωτερική υπηρεσία AI. Έτσι χτίσαμε μια πλατφόρμα για έναν πελάτη που αναλύει ιατρικούς φακέλους: κάθε βήμα τρέχει σε τοπικά μοντέλα μέσα στο Digital Realty Athens, και τα δεδομένα δεν αγγίζουν ποτέ δημόσιο cloud. Οι δίσκοι που αποσύρονται καθαρίζονται με Blancco, με πιστοποιητικό διαγραφής που φυλάσσεται για τον καθένα.

Φέρτε μας το μοντέλο σας και τον στόχο throughput σας, και θα σας πούμε ποια κάρτα ταιριάζει και γιατί.

Μιλήστε με έναν μηχανικό

Σχετικά: GPU servers και υποδομή ιδιωτικού AI · Bare metal servers σε HPE και Dell · Ιδιωτικό Kubernetes σε bare metal, OpenShift και OKD