O blog da EuroVPS
Notas de campo.
Da casa das máquinas.
Decisões, investigações e lições de quem opera infraestrutura de produção. Escritas pelas pessoas que cuidam dela.
O arquivo
Mais da equipa.
Um modelo 70B cabe mesmo numa placa de 48GB, depois de contar o que custa a quantização.
Duas equipas falham o dimensionamento de GPU em direções opostas: uma recua perante a placa de 80GB e abandona o projeto. A outra enfia tudo na GPU mais barata e perde qualidade que nunca mediu. Falta a mesma conversa. A aritmética de VRAM que qualquer pessoa pode verificar, o que cada classe de placa serve honestamente, e o que a quantização custa realmente, mostrado para que seja a sua empresa a decidir.
Porque é que a sua VM não tem swap
As VM que construímos são entregues sem swap. Fazer paging para flash torna uma falta de memória mais lenta de detetar e mais cara de servir, e a solução é a de sempre: RAM.
Sair da API é uma linha de código.
As equipas ficam em APIs de IA alojadas muito depois de quererem sair, porque alguém disse a frase que encerra a reunião: estamos demasiado integrados, é uma reescrita. Para a infraestrutura por baixo, a reescrita não existe. O mundo do serving normalizou-se num único wire format, e o endpoint privado que entregamos fala-o nativamente. O seu SDK não sabe que mudou de sítio.
O seu fornecedor de IA aplica rate limits ao seu melhor dia.
Todos os programadores numa API de IA alojada já conheceram o trio: o 429, o erro de capacidade indisponível, a latência que estica no pico. Concentram-se nos seus maiores dias porque é quando os maiores dias de toda a gente colidem. Não é azar. É o mapa de lugares, e não controla o seu lugar.
O que a palavra SSD esconde sobre o storage do seu fornecedor
As três arquiteturas escondidas atrás da palavra SSD, o que um array all-flash dedicado lhe compra realmente, e as cinco perguntas que arrancam uma resposta honesta sobre storage a qualquer fornecedor.
Redundante, segundo quem?
A «rede totalmente redundante» é uma caixa de verificação que não significa nada a menos que quem a alega controle o failover, e um tenant no backbone de outra pessoa só é redundante por permissão. Ao contrário de um número de uptime, isto pode verificar-se na tabela de routing pública. Eis como a ler, para o fornecedor que tem hoje e para o que está a ponderar.
Não é dono da sua rede, e esse é o seu verdadeiro lock-in.
A maioria dos fornecedores aluga o seu backbone e revende-o como se fosse seu. Faça uma pergunta antes de assinar: de quem é o AS por onde o seu tráfego viaja?
Dez tickets de suporte em dez anos é o aspeto da infraestrutura aborrecida.
Um editor de notícias nacional está connosco há dez anos e abriu cerca de dez tickets, noites eleitorais incluídas. Eis como a infraestrutura aborrecida se projeta, em vez de acontecer por acaso.
Como preparamos um website de notícias para um pico.
O tráfego encontra o limite que a configuração define. Preparar um website de notícias para o seu melhor dia é sobretudo aritmética e leitura dos números certos, não compra de hardware. Eis o método.
Porque é que o seu e-mail vai parar ao spam (e o que isso diz sobre o seu fornecedor).
Os servidores de receção pontuam o seu IP de envio, o seu reverse DNS e a reputação dos seus vizinhos antes de lerem uma palavra do seu conteúdo. Metade dessa pontuação é herdada do seu fornecedor. Aqui fica a metade que controla, pela ordem certa, e a metade que devia verificar antes de se inscrever onde quer que seja.
Temos opinião sobre hardware para que não precise de a ter.
Um configurador longo é trabalho de casa. Tomámos as decisões de storage, rede e computação uma vez, de propósito. Foi isto que escolhemos, e porquê.
As taxas de egress existem para fazer a saída parecer mais cara do que ficar.
Os dados entram num hyperscaler de graça e pagam para sair. Quatro linhas da sua última fatura mostram se esse contador é mesmo o obstáculo.
Porque é que o seu novo servidor mede pior do que o antigo, quando não é mais lento.
Uma pergunta comum depois de uma migração é se um valor de bogomips mais baixo significa um servidor mais lento. Não significa: o bogomips não mede nada que quisesse comprar. Eis como o provar com o trabalho real.
O seu tráfego de DR viaja pela internet pública.
Todas as revisões de conformidade perguntam onde vivem os seus dados. Quase nenhuma pergunta por onde viajam entre sites: replicação, sincronização de DR, tráfego de failover. Alguns fornecedores enviam a replicação pela internet pública. A nossa viaja por uma mesh IPsec sempre ativa entre os nossos datacenters, por omissão, porque a rede é nossa nas duas pontas.
O seu endpoint de IA não tem de estar na internet.
O diagrama de arquitetura habitual põe o modelo atrás de um URL público e pendura-lhe um ícone de cadeado. Ninguém faz a pergunta anterior: porque é que o endpoint está na internet, de todo? Os seus documentos são privados, a sua aplicação é privada, a máquina é exclusivamente sua. A perna pública existe por omissão, não por necessidade, e a exposição opcional deve ser recusada.
Um assistente de conhecimento que nunca sai do seu edifício.
A funcionalidade de IA empresarial mais procurada é um assistente que responde a partir dos seus próprios contratos, tickets e wikis. O obstáculo é sempre o mesmo: esses documentos não podem ir para uma API de terceiros. Não precisam. O pipeline inteiro corre num único GPU server single-tenant, e nada sai dele, incluindo a parte de que todos se esquecem: a vector database que é, na prática, a sua empresa codificada.
O contador no seu disco, e o array sem contador
Num volume alugado, os provisioned IOPS são cobrados pela alocação. Eis o aspeto do mesmo disco quando o array all-flash por baixo dele é seu.
Uma VPC a sério é uma propriedade do hardware, não uma linha na base de dados de outra pessoa.
Isolamento por tenant num fabric leaf-spine, resiliência multi-homed e um mesh encriptado entre datacenters: o que significa uma rede privada quando não é uma caixa de verificação na consola de outra pessoa.
Como provamos que a porta está fechada antes do go-live.
Antes de um site entrar em produção, atacamos a origem real a partir de uma máquina em que a nossa própria firewall nunca foi instruída a confiar, varremos as 65.535 portas e confirmamos que a porta está fechada tal como um atacante a veria: connection refused, não uma página de login.
O que é um virtual data center (vDC), e quando é a escolha certa
Um virtual data center dá a uma organização o seu próprio pool de computação, memória, storage e rede, gerido como um todo, com a liberdade de criar lá dentro o que precisar. O que é um vDC, como se compara com as alternativas e como o entregamos.
Configurar o WordPress Multisite com nginx e PHP-FPM em RHEL 9 e 10
Uma instalação completa e funcional de WordPress Multisite em nginx e PHP-FPM em Red Hat Enterprise Linux 9 e 10 e sistemas compatíveis: pacotes, pool PHP-FPM, server blocks nginx para redes de subdiretórios e de subdomínios, TLS, SELinux, firewalld, wp-config.php e verificação.
Mais lidos
Os guias a que os leitores regressam- 0110 razões para o seu website carregar devagar (e como as corrigir)
- 02Os ficheiros de log Linux que deve monitorizar em RHEL 9 e 10
- 03Configurar o WordPress Multisite com nginx e PHP-FPM em RHEL 9 e 10
- 04Arquimedes e a talha: como um homem moveu um navio
- 05Guia completo dos códigos de estado HTTP: série 300
- 06Guia completo dos códigos de estado HTTP: série 400
- 07De quanta RAM, CPU, disco e IOPS precisa realmente o seu VPS?
Ponha a leitura em prática
Tem uma carga de trabalho em mente?
Comece pelos números.
As ferramentas de dimensionamento transformam os seus requisitos numa configuração proposta e num intervalo de preço indicativo. Um engenheiro pode ajudar a rever o que se adequa.
