Was Sie einen GPU-Anbieter fragen sollten, bevor Sie unterschreiben

GPU-Angebote sehen aus der Ferne gleich aus: ein Kartenname, eine Lieferzeit, ein Preis. Aus der Nähe können zwei Angebote mit demselben Kartennamen sehr unterschiedliche Produkte sein, und die Unterschiede entscheiden, ob Ihr Modell gut läuft, ob Ihre Daten dort bleiben, wo Sie sie brauchen, und ob die Plattform nächstes Jahr noch Ihre ist, auf die Sie sich verlassen können. Das sind die Fragen, die wir jedem Anbieter stellen würden, uns selbst eingeschlossen, und so prüfen Sie die Antworten, sobald der Server in Ihren Händen ist.

Zur Hardware

1. Welche Karte genau? Ein Modellname ist keine Spezifikation. Dieselbe Familie gibt es mit unterschiedlichen Speichergrößen und in unterschiedlichen Bauformen, als PCIe-Karte oder als Modul auf einer Platine mit einer Hochgeschwindigkeitsverbindung zwischen den GPUs. Bei großen Modellen entscheidet der GPU-Speicher, was hineinpasst, und bei Arbeit über mehrere GPUs entscheidet die Verbindung zwischen den Karten, wie gut sie skaliert. Lassen Sie sich die genaue Variante schriftlich geben.

2. Ist sie dediziert, oder nur ein Teil davon? Eine GPU kann in Partitionen aufgeteilt oder zeitlich zwischen Kunden geteilt werden. Das ist in Ordnung, wenn Sie es wissen und es entsprechend bepreist ist. Es ist nicht in Ordnung, wenn Sie glauben, eine ganze Karte zu haben. Fragen Sie, ob Sie das gesamte physische Gerät bekommen und ob die Workload eines anderen darauf läuft.

3. Was umgibt die Karte? Eine schnelle GPU, die von einem langsamen Host ausgehungert wird, ist eine langsame GPU. Fragen Sie nach den Prozessoren, nach dem Systemspeicher pro GPU, nach der Zahl der PCIe-Lanes, die jede Karte erreichen, nach lokalem NVMe für Modellgewichte und Datensätze und nach dem Netzwerk zwischen den Servern, wenn Sie über mehr als einen trainieren werden.

4. Wann kann ich ihn haben? Fragen Sie nach einer Lieferzeit, mit der Sie planen können, und ob sie für einen zweiten Server dieselbe ist, wenn Ihr erster Erfolg hat.

Zum Standort

5. Wo steht er physisch, und unter welcher Gerichtsbarkeit? Wenn Sie Gesundheits-, Rechts-, Finanz- oder Personaldaten verarbeiten, zählen das Land und die juristische Person, die die Hardware betreibt, so viel wie die Hardware selbst. Fragen Sie nach dem Rechenzentrum, nicht nach dem Namen der Region.

6. Wer hat Zugriff auf den Server und seine Daten? Fragen Sie, wer administrativen Zugriff hat, ob Remote Hands die Maschine anfassen dürfen, wie Zugriffe protokolliert werden und was mit den Laufwerken geschieht, wenn der Vertrag endet. Eine gute Antwort nennt das Löschverfahren und bietet ein Zertifikat an.

7. Wird etwas an einen externen Dienst gesendet? Manche Managed-KI-Angebote protokollieren Prompts und Ausgaben oder leiten bestimmte Anfragen an das Modell eines Dritten weiter. Fragen Sie direkt, ob irgendein Inhalt, Prompt, Completion, Embedding oder Log, den Server oder das Netzwerk des Anbieters verlässt, und lassen Sie sich die Antwort in den Vertrag schreiben.

Zur Software

8. Wer pflegt den Treiber-Stack? GPU-Treiber, die CUDA-Runtime und das Container-Toolkit müssen zueinander und zum Kernel passen. Fragen Sie, wer sie aktualisiert, wie sie getestet werden und ob die Kernelmodule signiert sind, damit der Server mit Secure Boot und mit der Sicherheitsrichtlinie läuft, die Sie auf jeder anderen Maschine erwarten.

9. Kann ich Container mit der GPU sauber betreiben? Die meisten KI-Stacks werden als Container ausgeliefert. Die Container-Runtime sollte die GPU über das Container-Toolkit des Herstellers sehen, ohne dass Sie dafür privilegierte Container starten müssen.

10. Können Sie den Modell-Stack betreiben, oder vermieten Sie mir nur die Kiste? Ein Modell gut zu betreiben umfasst Batching, Entscheidungen zur Quantisierung, einen Inference-Server, ein Embedding-Modell und meist eine Vektordatenbank. Manche Anbieter geben Ihnen ein Root-Passwort und gehen. Wenn Sie den Stack gebaut und betrieben haben möchten, fragen Sie, wer das tun wird, und verlangen Sie einen Endpunkt, der das API-Format spricht, das Ihre Anwendungen bereits verwenden, damit der Wechsel zwischen einer öffentlichen API und Ihrem eigenen Modell eine Konfigurationsänderung ist und kein Umschreiben.

Zu Erreichbarkeit und Kosten

11. Hängt der Endpunkt im öffentlichen Internet? Ein Inference-Endpunkt auf einer öffentlichen Adresse ist eine Angriffsfläche und eine Rechnung, die nur darauf wartet, von jemand anderem in die Höhe getrieben zu werden. Fragen Sie, ob er ausschließlich aus Ihrem privaten Netzwerk erreichbar sein kann.

12. Wovon hängen die Kosten ab? Feste monatliche Hardware verhält sich mit wachsender Nutzung ganz anders als eine Abrechnung pro Token oder pro Anfrage. Fragen Sie, was den Preis verändert, und ob Rate Limits für Hardware gelten, die Sie bezahlen.

Prüfen Sie es am ersten Tag

Sobald der Server Ihnen gehört, prüfen Sie, ob er das ist, was versprochen wurde:

nvidia-smi
nvidia-smi -q | grep -E 'Product Name|Serial|Memory|ECC|Persistence|Power Limit'
nvidia-smi topo -m
nvidia-smi -q -d PERFORMANCE
lspci | grep -i nvidia
mokutil --sb-state

nvidia-smi -q bestätigt das genaue Produkt und seinen Speicher und zeigt, ob ECC aktiv ist und ob Fehler aufgezeichnet wurden. topo -m zeigt, wie die GPUs untereinander und mit den Prozessoren verbunden sind, und damit, ob der Verkehr zwischen mehreren GPUs einen schnellen Pfad nimmt. Der Performance-Abschnitt meldet die Taktraten und etwaige Gründe für Drosselung, etwa Leistungs- oder Temperaturgrenzen, die unter Dauerlast frei bleiben sollen. Wird Partitionierung eingesetzt, ist auch das hier sichtbar. Zum Schluss lassen Sie Ihr eigenes Modell mit Ihren eigenen Daten bei der erwarteten Parallelität laufen und messen Token pro Sekunde und Latenz. Das ist der Benchmark, der zählt.

Wie wir sie beantworten

Wir liefern die NVIDIA Data Center GPU, die Ihre Workload verlangt, A100, H100, L40, L40S und andere, als dedizierte Hardware auf Enterprise-Plattformen von HPE und Dell, mit einer Lieferzeit von 48 Stunden, in unseren Rechenzentren in Athen und Amsterdam innerhalb der EU. GPU-Server werden gebaut wie jeder andere Server, den wir betreiben: herstellersignierte Kernelmodule, Podman mit dem NVIDIA Container Toolkit, SELinux enforcing. Wenn wir darauf den privaten KI-Stack aufbauen, werden die Modelle über OpenAI-kompatible Endpunkte in einem isolierten Netzwerksegment bereitgestellt, und nichts im Pfad der Inhalte ruft einen externen KI-Dienst auf. So haben wir eine Plattform für einen Kunden gebaut, der medizinische Unterlagen auswertet: Jeder Schritt läuft auf lokalen Modellen bei Digital Realty Athens, und die Daten berühren nie eine Public Cloud. Laufwerke, die außer Dienst gehen, werden mit Blancco bereinigt, mit einem Löschzertifikat, das für jedes einzelne aufbewahrt wird.

Bringen Sie uns Ihr Modell und Ihr Durchsatzziel, und wir sagen Ihnen, welche Karte passt und warum.

Mit einem Ingenieur sprechen

Verwandt: GPU-Server und private KI-Infrastruktur · Bare-Metal-Server auf HPE und Dell · Privates Kubernetes auf Bare Metal, OpenShift und OKD