Eigene oder gemietete GPU: Auslastung, Datennähe, Support

Wo Mieten die richtige Antwort ist

Eine Karte nach Stunden ist das richtige Werkzeug für ein Experiment, eine Lastspitze, ein Modell, das Sie einen Nachmittag lang ausprobieren möchten, oder einen Trainingslauf, den Sie einmal machen. Die Elastizität ist echt und es wert, bezahlt zu werden, wenn die Arbeit unregelmäßig anfällt. Die Frage ist, was passiert, wenn die Arbeit aufhört, unregelmäßig zu sein: ein Inference-Endpoint, der Ihre Anwendung den ganzen Tag bedient, ein nächtliches Fine-Tuning, eine Embedding-Pipeline, die jede Woche einen Dokumentenbestand neu verarbeitet. An diesem Punkt wechselt der Vergleich von Preis pro Stunde zu Preis pro nützlicher Stunde, und die beiden laufen auseinander.

Auslastung ist eine Messung, keine Meinung

Der Umschlagpunkt zwischen Mieten und Besitzen ist eine Frage des Duty Cycle, und sie wird durch Stichproben beantwortet, nicht durch Schätzen. Protokollieren Sie auf dem, was Sie heute betreiben, Auslastung und Speicher der GPU über eine repräsentative Woche.

$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,memory.used,memory.total --format=csv -l 60 >> gpu-week.csv

Eine Karte, die ein paar Stunden am Tag beschäftigt und sonst untätig ist, ist eine Mietsache. Eine Karte, die den größten Teil des Tages beschäftigt ist, oder die in dem Moment verfügbar sein muss, in dem eine Anfrage eintrifft, unabhängig davon, wie beschäftigt sie ist, ist eine Maschine, denn Verfügbarkeit wird bezahlt, ob der Zähler läuft oder nicht. Die Arithmetik für den Vergleich der beiden steht in Hören Sie auf, GPUs nach Stunden zu vergleichen. Die Stichprobe oben ist die Eingabe, die sie braucht.

Datennähe: das Modell ist der kleine Teil

Ein Modell ist eine Datei, die auf eine Maschine passt. Die Daten darum herum passen nicht: der Dokumentenbestand, über den es Fragen beantwortet, die daraus gebauten Embeddings, die Prompts und Antworten, die Zugriffsprotokolle, nach denen ein Prüfer fragen wird. Jedes davon muss dort sein, wo die GPU ist. Auf einer gemieteten Karte heißt das, die Daten vor der Arbeit zum Anbieter zu bewegen und danach für den Abtransport zu bezahlen, oder sie dort zu lassen und zu akzeptieren, dass die Daten jetzt dort leben, wo der Storage des Anbieters lebt.

Auf einer eigenen Maschine teilen sich Daten und Karte ein Rack. Der Storage darunter ist All-Flash, das Netzwerk dazwischen gehört uns, und nichts überquert eine Public-Cloud-Grenze, um verarbeitet zu werden. Das Beispiel, das wir am häufigsten bauen, ist ein privater Inference-Endpoint für Datensätze, die die Organisation nicht verlassen dürfen: medizinische Akten, die von einem lokalen Modell innerhalb von Digital Realty Athens ausgewertet werden, mit den Akten, dem Modell und den Logs auf derselben Maschine und dem Endpoint nur aus dem eigenen Netzwerk des Kunden erreichbar. Das Muster ist in Ein KI-Endpoint, der nicht im Internet ist beschrieben.

Gerichtsbarkeit, durch Geografie geklärt

Für Workloads, die unter EU-Recht bleiben müssen, stellen wir die Maschine in Digital Realty Athens oder Digital Realty Amsterdam (AMS18) auf. Hardware, Betreiber und Daten unterliegen dann einer Gerichtsbarkeit, und die Frage, die ein Prüfer zuerst stellt, wer sonst auf diesem Silizium ist und wer gezwungen werden kann, darauf zuzugreifen, hat eine kurze Antwort: niemand sonst, und der Betreiber, der Ihnen gegenübersitzt. Geteilte und fraktionierte GPU-Produkte setzen andere Tenants auf denselben Die. Eine dedizierte Instanz bei einem Hyperscaler entfernt die Nachbarn von der Karte, behält aber die geteilten Hypervisor-, Netzwerk- und Storage-Ebenen, und die Gerichtsbarkeit ist die des Anbieters.

Support ist ein Mensch, der die Maschine gebaut hat

Eine gemietete Stunde kommt mit einem API und einer Statusseite. Eine eigene Maschine kommt mit den Ingenieuren, die sie ins Rack gebaut, den Treiber-Stack installiert, den Storage-Pfad abgestimmt und das Netzwerk verkabelt haben. Wenn ein Container die Karte nach einem Kernel-Update nicht mehr sieht, oder sich der Speicherbedarf des Inference-Servers zwischen Modellversionen ändert, geht das Ticket an jemanden, der die Maschine lesen kann. Die Maschine ändert sich außerdem dann, wenn Sie es entscheiden: keine Rücknahmen, keine Flottenmigrationen, keine Ausmusterung der Karte, auf die Sie abgestimmt haben, nach dem Zeitplan von jemand anderem.

Welche Karte, und wie schnell

Was die Workload braucht: A100, H100, L40, L40S und andere, dimensioniert nach Modell und Batch-Größe statt nach einer Katalogstufe. Ein Modell der 70B-Klasse mit der richtigen Quantisierung passt in 48 GB GPU-Speicher, was die Karte entscheidet, bevor das Budget es tut. Maschinen werden mit einer Lieferzeit von 48 Stunden nach Athen, Amsterdam oder Toronto geliefert, mit den Platzierungen unter EU-Gerichtsbarkeit an den ersten beiden Standorten.