Το AI endpoint σας δεν χρειάζεται να είναι στο internet.
Κάθε οδηγός εγκατάστασης υποθέτει ότι το endpoint είναι δημόσιο και σας καθοδηγεί στο πώς να το υπερασπιστείτε. Υπάρχει μια ισχυρότερη στάση: η απουσία. Επειδή μας ανήκει το δίκτυο από άκρη σε άκρη, το inference endpoint σας μπορεί να είναι προσβάσιμο μόνο μέσω του δικού σας ιδιωτικού transit, και το δημόσιο internet μένει εντελώς εκτός διαδρομής.
Σε αυτό το άρθρο 4 ενότητες
- Κάθε οδηγός εγκατάστασης AI υποθέτει ότι το endpoint ζει στο internet και σας καθοδηγεί στο πώς να το υπερασπιστείτε: auth, TLS, gateways, rate limiting, WAF.
- Υπάρχει μια ισχυρότερη διαθέσιμη στάση: η απουσία. Ένα single-tenant inference endpoint προσβάσιμο μόνο μέσω του δικού σας ιδιωτικού transit δεν έχει δημόσια επιφάνεια να υπερασπιστεί.
- Μπορούμε να το προσφέρουμε επειδή μας ανήκει το δίκτυο από άκρη σε άκρη: δικό μας AS, δικό μας routing, ένα κρυπτογραφημένο ιδιωτικό mesh. Τα prompts σας ταξιδεύουν την ιδιωτική σας διαδρομή μέχρι το μηχάνημά σας και πίσω. Το δημόσιο internet δεν τα μεταφέρει ποτέ.
- Για ρυθμιζόμενους φόρτους εργασίας αυτό συντομεύει τα πάντα: το μοντέλο απειλής, το εύρος του pentest, το διάγραμμα του ελεγκτή, και τη λίστα με όσα μπορούν να πάνε στραβά στις 3 το πρωί.
Κάθε ομάδα που εγκαθιστά ένα ιδιωτικό μοντέλο σχεδιάζει το ίδιο διάγραμμα. Εφαρμογή, μετά API gateway, μετά το endpoint, μετά το μοντέλο, με ένα εικονίδιο λουκέτου να αντιπροσωπεύει τον έλεγχο ασφαλείας. Οι οδηγοί συμφωνούν όλοι στο τι ακολουθεί: authentication, TLS, rate limiting, WAF, παρακολούθηση των logs. Όλα λογικά. Όλα απαντούν στη δεύτερη ερώτηση παρακάμπτοντας την πρώτη.
Η πρώτη ερώτηση: γιατί είναι αυτό το endpoint στο internet καθόλου; Τα έγγραφά σας είναι ιδιωτικά. Η εφαρμογή σας είναι ιδιωτική. Το μοντέλο τρέχει σε ένα μηχάνημα που δεν μοιράζεται κανείς άλλος. Το ένα δημόσιο σκέλος στο διάγραμμα υπάρχει επειδή το διάγραμμα αντιγράφηκε από έναν κόσμο δημόσιων APIs, όχι επειδή το χρειάζεται ο φόρτος εργασίας σας.
h2 (#absence-beats-defense): Η άμυνα είναι προϋπολογισμός. Η απουσία είναι ιδιότητα.
Οτιδήποτε βλέπει προς το internet είναι ένα μόνιμο κόστος. Η εκτεθειμένη επιφάνεια χρειάζεται patching με το πρόγραμμα κάποιου, τα logs χρειάζονται παρακολούθηση, το WAF χρειάζεται ρύθμιση, και οι σαρώσεις δεν σταματούν ποτέ να φτάνουν είτε κοιτάτε είτε όχι. Όλη αυτή η δουλειά είναι απαραίτητη, όλη είναι για πάντα, και όλη είναι πιθανοτική: χαμηλώνει τις πιθανότητες, δεν μπορεί να τις μηδενίσει. Η αφαίρεση του δημόσιου σκέλους μετατρέπει τον προϋπολογισμό σε ιδιότητα: η παλαιότερη ιδέα στην ασφάλεια δικτύων, το επίπεδο διαχείρισης προς το οποίο δεν μπορείς να δρομολογήσεις, εφαρμοσμένη στον νεότερο φόρτο εργασίας στο rack.
h2 (#the-two-architectures): Οι δύο αρχιτεκτονικές
h2 (#the-ownership-tie): Γιατί μπορούμε να χτίσουμε τη δεύτερη αλυσίδα
Η ιδιωτική διαδρομή δεν είναι χαρακτηριστικό προϊόντος που ενεργοποιήσαμε. Είναι συνέπεια του τι είναι αυτή η εταιρεία. Τρέχουμε το δικό μας AS και το δικό μας routing, και ένα μόνιμα ενεργό κρυπτογραφημένο mesh συνδέει τα datacenters μας, το ίδιο ιδιωτικό fabric πάνω στο οποίο ταξιδεύει η κίνηση replication σας. Για τους πελάτες που το θέλουν, το inference endpoint είναι προσβάσιμο μέσω του δικού τους ιδιωτικού transit μέσα σε εκείνο το δίκτυο, και το δημόσιο internet δεν βρίσκεται ποτέ στη διαδρομή: κανένας δημόσιος listener, καμία δημόσια εγγραφή DNS να βρεθεί, καμία εξώπορτα να χτυπήσει κανείς. Μια αγορά GPU που μεταπωλεί χωρητικότητα σε εγκαταστάσεις άλλων δεν μπορεί να το προσφέρει, γιατί είναι ιδιότητα δικτύου, και εκείνοι δεν είναι operators δικτύου.
- Δημόσια επιφάνεια επίθεσης
- καμία: δεν υπάρχει listener προς το internet
- Credential stuffing και θόρυβος σαρώσεων
- καμία δημόσια πόρτα να χτυπήσει κανείς
- Δεδομένα σε μεταφορά
- ιδιωτική διαδρομή, κρυπτογραφημένη, από άκρη σε άκρη
- Το διάγραμμα δικτύου του ελεγκτή
- μία ιδιωτική γραμμή, δύο endpoints που ελέγχετε
- Τι μένει, ειλικρινά
- η υγιεινή του δικού σας δικτύου, ο έλεγχος πρόσβασης από την πλευρά σας, και εμείς
h2 (#where-the-boundary-sits): Πού βρίσκεται το όριο
Η ιδιωτική προσβασιμότητα είναι ακριβής ως προς το τι αφαιρεί, και ο ισχυρισμός μένει ισχυρός μόνο αν μένει ακριβής. Ο έλεγχος πρόσβασης του δικού σας δικτύου εξακολουθεί να μετράει: ένα παραβιασμένο laptop στο VPN σας φτάνει ό,τι φτάνει το VPN σας, μαζί και αυτό. Το endpoint εξακολουθεί να κάνει authentication, γιατί η απουσία αφαιρεί το μερίδιο του internet από το μοντέλο απειλής, όχι τη δική σας πλευρά. Και φόρτοι εργασίας που πραγματικά θέλουν δημόσιο API, ένα προϊόν προς πελάτες για παράδειγμα, νομίμως κρατούν ένα και το υπερασπίζονται σωστά. Ο ισχυρισμός είναι στενότερος και ισχυρότερος: για εσωτερικούς και ρυθμιζόμενους φόρτους εργασίας, το δημόσιο σκέλος είναι προαιρετικό, και η προαιρετική έκθεση πρέπει να απορρίπτεται. Το εύρος του pentest για μια υπηρεσία που δεν είναι στο internet είναι ένα σύντομο έγγραφο, και οι ελεγκτές το προσέχουν.
Βάλτε τα δύο μισά του επιχειρήματος για το ιδιωτικό AI μαζί και η αρχιτεκτονική ολοκληρώνεται μόνη της. Η ροή που δεν φεύγει ποτέ από το μηχάνημα (ο βοηθός γνώσης) απαντά τι συμβαίνει στα δεδομένα σας σε ηρεμία και σε χρήση. Η ιδιωτική διαδρομή απαντά πώς τα δεδομένα φτάνουν εκεί και πίσω. Ανάμεσά τους, η ερώτηση με την οποία ξεκινά κάθε ρυθμιζόμενος αγοραστής, ποιος μπορεί να το δει αυτό, κρατά τη μονολεκτική της απάντηση σε κάθε επίπεδο: κανείς.
“Η ισχυρότερη στάση ασφαλείας για ένα endpoint δεν είναι ένα καλύτερο firewall. Είναι να μην είναι στο internet καθόλου.”
Ευθείες απαντήσεις
Πώς ασφαλίζω ένα self-hosted LLM endpoint;+
Οι τυπικές απαντήσεις (auth, TLS, gateway, WAF) υπερασπίζονται ένα δημόσιο endpoint. Η ισχυρότερη ερώτηση είναι αν χρειάζεται να είναι δημόσιο καθόλου: ένα endpoint προσβάσιμο μόνο μέσω ιδιωτικού transit δεν έχει επιφάνεια προς το internet να υπερασπιστεί, και οι τυπικοί έλεγχοι συρρικνώνονται στη δική σας πλευρά της γραμμής.
Τι σημαίνει «ιδιωτικό transit» εδώ;+
Η κίνησή σας φτάνει στο μηχάνημα μέσω μιας ιδιωτικής, κρυπτογραφημένης διαδρομής, της συνδεσιμότητάς σας μέσα στο δίκτυό μας, όχι μέσα από το ανοιχτό internet. Το κρατάμε σε επίπεδο έννοιας σκόπιμα: η συζήτηση σχεδιασμού γίνεται ανά πελάτη, με την ομάδα δικτύου σας στο δωμάτιο.
Είναι το ίδιο με air-gapped;+
Είναι ο πρακτικός συγγενής του: όχι φυσικά offline, αλλά χωρίς διαδρομή από το δημόσιο internet. Οι πραγματικές απαιτήσεις air-gap είναι μια διαφορετική συζήτηση που μπορούμε επίσης να κάνουμε. Οι περισσότεροι ρυθμιζόμενοι φόρτοι εργασίας χρειάζονται «όχι στο internet», όχι «σε κανένα δίκτυο».
Χρειάζεται ένα ιδιωτικό endpoint authentication;+
Ναι. Η απουσία δημόσιου σκέλους αφαιρεί το μερίδιο του internet από το μοντέλο απειλής, όχι το μερίδιο του δικού σας δικτύου. Ό,τι φτάνει το ιδιωτικό σας δίκτυο, το φτάνει και ένα παραβιασμένο μηχάνημα μέσα σε αυτό. Το auth μένει. Ο θόρυβος των σαρώσεων φεύγει.
Γιατί δεν μπορεί να το προσφέρει ένα GPU cloud;+
Επειδή είναι ιδιότητα δικτύου, όχι χαρακτηριστικό server. Απαιτεί να σας ανήκει το routing από άκρη σε άκρη: το AS, οι διαδρομές, το κρυπτογραφημένο fabric μεταξύ των sites. Οι αγορές που μεταπωλούν GPU σε εγκαταστάσεις άλλων δεν έχουν δίκτυο να κάνουν ιδιωτικό.
Το μοντέλο σας, προσβάσιμο μόνο από εσάς.
Φέρτε μας το μοντέλο και το μοντέλο απειλής σας. Θα σχεδιάσουμε την ιδιωτική διαδρομή, και το δημόσιο internet μένει εκτός.
Δείτε τους GPU serversΦτάσατε στο τέλος.
Βάλτε την ανάγνωση σε εφαρμογή
Τι τρέχετε;
Πείτε μας για τον φόρτο εργασίας, την κίνηση και τις απαιτήσεις ανάκαμψης. Ξεκινήστε από το εργαλείο διαμόρφωσης server ή συζητήστε τις λεπτομέρειες με έναν μηχανικό.
Γραμμένο από τους μηχανικούς που χτίζουν και λειτουργούν την υποδομή που περιγράφει.Μιλήστε με έναν μηχανικό
