Το blog της EuroVPS
Σημειώσεις από το πεδίο.
Από το μηχανοστάσιο.
Αποφάσεις, διερευνήσεις και μαθήματα από τη λειτουργία υποδομής παραγωγής. Γραμμένα από τους ανθρώπους που τη φροντίζουν.
Το αρχείο
Περισσότερα από την ομάδα.
Ένα μοντέλο 70B πράγματι χωράει σε μια κάρτα 48GB, μόλις μετρήσετε τι κοστίζει το quantization.
Δύο ομάδες αποτυγχάνουν στη διαστασιολόγηση GPU σε αντίθετες κατευθύνσεις: η μία κοντοστέκεται στην κάρτα 80GB και εγκαταλείπει το έργο. Η άλλη στριμώχνει τα πάντα στη φθηνότερη GPU και χάνει ποιότητα που δεν μέτρησε ποτέ. Η ίδια συζήτηση λείπει. Η αριθμητική VRAM που μπορεί να ελέγξει ο καθένας, τι εξυπηρετεί τίμια κάθε κατηγορία κάρτας, και τι κοστίζει πραγματικά το quantization, δείχνοντάς το ώστε να αποφασίσετε εσείς.
Γιατί η VM σας δεν έχει swap
Οι VM που χτίζουμε παραδίδονται χωρίς swap. Το paging σε flash κάνει μια έλλειψη μνήμης πιο αργή να φανεί και πιο ακριβή να εξυπηρετηθεί, και η λύση είναι αυτή που ήταν πάντα: RAM.
Η αποχώρηση από το API είναι μία γραμμή κώδικα.
Οι ομάδες μένουν σε hosted AI APIs πολύ αφότου θέλουν να φύγουν, γιατί κάποιος είπε την πρόταση που τελειώνει τη σύσκεψη: είμαστε πολύ ενσωματωμένοι, είναι επανεγγραφή. Για την υποδομή από κάτω, η επανεγγραφή δεν υπάρχει. Ο κόσμος του serving τυποποιήθηκε σε ένα wire format, και το ιδιωτικό endpoint που παραδίδουμε το μιλά εγγενώς. Το SDK σας δεν ξέρει ότι μετακόμισε.
Ο πάροχος AI σας βάζει rate limit στην καλύτερή σας μέρα.
Κάθε developer σε ένα hosted AI API έχει γνωρίσει την τριάδα: το 429, το σφάλμα μη διαθέσιμης χωρητικότητας, το latency που τεντώνει στην αιχμή. Συγκεντρώνονται στις μεγαλύτερές σας μέρες γιατί τότε συγκρούονται οι μεγαλύτερες μέρες όλων. Δεν είναι κακή τύχη. Είναι ο χάρτης θέσεων, και εσείς δεν ελέγχετε τη θέση σας.
Τι κρύβει η λέξη SSD για το storage του παρόχου σας
Οι τρεις αρχιτεκτονικές που κρύβονται πίσω από τη λέξη SSD, τι σας προσφέρει πραγματικά μια dedicated all-flash συστοιχία, και οι πέντε ερωτήσεις που βγάζουν ειλικρινή απάντηση για το storage από οποιονδήποτε πάροχο.
Πλεονάζον, σύμφωνα με ποιον;
Το «πλήρως πλεονάζον δίκτυο» είναι ένα checkbox που δεν σημαίνει τίποτα εκτός αν αυτός που το ισχυρίζεται ελέγχει το failover, και ένας ένοικος στο backbone κάποιου άλλου είναι πλεονάζων μόνο με άδεια. Σε αντίθεση με έναν αριθμό uptime, αυτό μπορείτε να το επαληθεύσετε μόνοι σας στον δημόσιο πίνακα δρομολόγησης. Να πώς τον διαβάζετε, για τον πάροχο που έχετε τώρα και για αυτόν που ζυγίζετε.
Δεν σας ανήκει το δίκτυό σας, και αυτό είναι το πραγματικό σας lock-in.
Οι περισσότεροι πάροχοι νοικιάζουν το backbone τους και το μεταπωλούν ως δικό τους. Κάντε μία ερώτηση πριν υπογράψετε: σε ποιον ανήκει το AS πάνω στο οποίο ταξιδεύει η κίνησή σας;
Δέκα tickets υποστήριξης σε δέκα χρόνια: έτσι μοιάζει η βαρετή υποδομή.
Ένας εθνικός ειδησεογραφικός εκδότης είναι μαζί μας δέκα χρόνια και έχει ανοίξει περίπου δέκα tickets, μέσα από εκλογικές βραδιές. Να πώς η βαρετή υποδομή σχεδιάζεται, δεν συμβαίνει τυχαία.
Πώς προετοιμάζουμε ένα ειδησεογραφικό site για μια αιχμή.
Η κίνηση βρίσκει όποιο όριο ορίζει η διαμόρφωση. Η προετοιμασία ενός ειδησεογραφικού site για την καλύτερη μέρα του είναι κυρίως αριθμητική και ανάγνωση των σωστών αριθμών, όχι αγορά hardware. Εδώ είναι η μέθοδος.
Γιατί τα email σας καταλήγουν στα spam (και τι λέει αυτό για τον πάροχό σας).
Οι servers παραλαβής βαθμολογούν την IP αποστολής σας, το reverse DNS της και τη φήμη των γειτόνων της πριν διαβάσουν μία λέξη από το περιεχόμενό σας. Τη μισή από αυτή τη βαθμολογία την κληρονομείτε από τον πάροχό σας. Εδώ είναι το μισό που ελέγχετε εσείς, με τη σωστή σειρά, και το μισό που πρέπει να ελέγχετε πριν εγγραφείτε οπουδήποτε.
Έχουμε άποψη για το hardware, για να μην χρειάζεται να έχετε εσείς.
Ένας μακρύς configurator είναι εργασία για το σπίτι. Πήραμε τις αποφάσεις για storage, δίκτυο και compute μία φορά, σκόπιμα. Αυτό διαλέξαμε, και γιατί.
Οι χρεώσεις egress υπάρχουν για να φαίνεται η αποχώρηση πιο ακριβή από την παραμονή.
Τα δεδομένα μπαίνουν σε έναν hyperscaler δωρεάν και πληρώνουν για να βγουν. Τέσσερις γραμμές από το τελευταίο σας τιμολόγιο δείχνουν αν εκείνος ο μετρητής είναι όντως το εμπόδιο.
Γιατί ο νέος server σας μετράει πιο αργός από τον παλιό, ενώ δεν είναι.
Μια συνηθισμένη ερώτηση μετά από μεταφορά είναι αν μια χαμηλότερη ένδειξη bogomips σημαίνει πιο αργό server. Δεν σημαίνει: το bogomips δεν μετράει τίποτα που θα θέλατε να αγοράσετε. Να πώς αποδεικνύεται με την πραγματική δουλειά.
Η κίνηση DR σας ταξιδεύει στο δημόσιο internet.
Κάθε έλεγχος συμμόρφωσης ρωτά πού ζουν τα δεδομένα σας. Σχεδόν κανένας δεν ρωτά πάνω σε τι ταξιδεύουν ανάμεσα στα sites: replication, συγχρονισμός DR, κίνηση failover. Ορισμένοι πάροχοι στέλνουν το replication μέσα από το δημόσιο internet. Το δικό μας ταξιδεύει σε ένα πάντα ενεργό IPsec mesh ανάμεσα στα datacenters μας, εξ ορισμού, γιατί το δίκτυο μάς ανήκει και στα δύο άκρα.
Το AI endpoint σας δεν χρειάζεται να είναι στο internet.
Το τυπικό διάγραμμα αρχιτεκτονικής βάζει το μοντέλο πίσω από ένα δημόσιο URL και του κρεμά ένα εικονίδιο λουκέτου. Κανείς δεν κάνει την προηγούμενη ερώτηση: γιατί να είναι το endpoint στο internet καθόλου; Τα έγγραφά σας είναι ιδιωτικά, η εφαρμογή σας είναι ιδιωτική, το μηχάνημα είναι αποκλειστικά δικό σας. Το δημόσιο σκέλος υπάρχει εξ ορισμού, όχι από ανάγκη, και η προαιρετική έκθεση πρέπει να απορρίπτεται.
Ένας βοηθός γνώσης που δεν φεύγει ποτέ από το κτίριό σας.
Η πιο περιζήτητη εταιρική λειτουργία AI είναι ένας βοηθός που απαντά από τα δικά σας συμβόλαια, tickets και wikis. Το εμπόδιο είναι πάντα το ίδιο: αυτά τα έγγραφα δεν μπορούν να πάνε σε API τρίτου. Δεν χρειάζεται. Ολόκληρη η αλυσίδα τρέχει σε έναν single-tenant GPU server, και τίποτα δεν φεύγει από αυτόν, μαζί και το κομμάτι που όλοι ξεχνούν: η vector database που είναι ουσιαστικά η εταιρεία σας, κωδικοποιημένη.
Ο μετρητής στον δίσκο σας, και η συστοιχία χωρίς μετρητή
Σε ένα νοικιασμένο volume, τα provisioned IOPS χρεώνονται με βάση τη δέσμευση. Να πώς μοιάζει ο ίδιος δίσκος όταν η all-flash συστοιχία από κάτω του είναι δική σας.
Ένα πραγματικό VPC είναι ιδιότητα του hardware, όχι μια γραμμή στη βάση δεδομένων κάποιου άλλου.
Απομόνωση ανά ένοικο σε fabric leaf-spine, ανθεκτικότητα multi-homed, και ένα κρυπτογραφημένο mesh ανάμεσα στα datacenters: τι σημαίνει ιδιωτικό δίκτυο όταν δεν είναι checkbox στην κονσόλα κάποιου άλλου.
Πώς αποδεικνύουμε ότι η πόρτα είναι κλειστή πριν το go-live.
Πριν βγει ένα site live, επιτιθέμεθα στο πραγματικό origin από ένα μηχάνημα που το δικό μας firewall δεν έμαθε ποτέ να εμπιστεύεται, σαρώνουμε και τις 65.535 ports και επιβεβαιώνουμε ότι η πόρτα είναι κλειστή όπως θα την έβλεπε ένας επιτιθέμενος: connection refused, όχι σελίδα login.
Τι είναι ένα virtual data center (vDC), και πότε είναι η σωστή επιλογή
Ένα virtual data center δίνει σε έναν οργανισμό τη δική του δεξαμενή compute, μνήμης, storage και δικτύου, με διαχείριση ως ενιαίο σύνολο, και την ελευθερία να δημιουργεί ό,τι χρειάζεται μέσα της. Τι είναι ένα vDC, πώς συγκρίνεται με τις εναλλακτικές, και πώς το παραδίδουμε.
Ρύθμιση WordPress Multisite με nginx και PHP-FPM σε RHEL 9 και 10
Μια πλήρης, λειτουργική εγκατάσταση WordPress Multisite σε nginx και PHP-FPM σε Red Hat Enterprise Linux 9 και 10 και συμβατά συστήματα: πακέτα, PHP-FPM pool, server blocks nginx για δίκτυα subdirectory και subdomain, TLS, SELinux, firewalld, wp-config.php και επαλήθευση.
Τα πιο διαβασμένα
Οι οδηγοί στους οποίους επιστρέφουν οι αναγνώστες- 0110 λόγοι που το site σας φορτώνει αργά (και πώς τους διορθώνετε)
- 02Τα αρχεία καταγραφής Linux που πρέπει να παρακολουθείτε σε RHEL 9 και 10
- 03Ρύθμιση WordPress Multisite με nginx και PHP-FPM σε RHEL 9 και 10
- 04Ο Αρχιμήδης και το πολύσπαστο: πώς ένας άνθρωπος κίνησε ένα πλοίο
- 05Πλήρης οδηγός για τους κωδικούς κατάστασης HTTP: σειρά 300
- 06Πλήρης οδηγός για τους κωδικούς κατάστασης HTTP: σειρά 400
- 07Πόση RAM, CPU, χώρο και IOPS χρειάζεται πραγματικά το VPS σας;
Βάλτε την ανάγνωση σε εφαρμογή
Έχετε έναν φόρτο εργασίας στο μυαλό σας;
Ξεκινήστε από τους αριθμούς.
Τα εργαλεία διαστασιολόγησης μετατρέπουν τις απαιτήσεις σας σε προτεινόμενη διαμόρφωση και ενδεικτικό εύρος τιμής. Ένας μηχανικός μπορεί να σας βοηθήσει να δείτε τι ταιριάζει.
