Deixe de comparar GPU à hora.
A folha de cálculo de $/GPU-hora compara um atributo de um produto que difere em dez: de quem é o silício, onde está, quem mais está nele, se desaparece a meio do trabalho, e quem responde quando avaria. Para uma carga de trabalho estável, compare meses com meses, com as linhas escondidas trazidas à superfície.
Neste artigo 3 secções
- A comparação de GPU que toda a gente faz é uma coluna de preços à hora. A coluna compara tempo de silício e esconde tudo o que decide se a sua carga de trabalho sobrevive: tenancy, jurisdição, proveniência do hardware, preemption, e quem responde às 3 da manhã.
- A coluna à hora não diz se está a alugar uma placa de consumo, uma máquina partilhada ou silício de datacenter dedicado, nem em que jurisdição está.
- Para uma carga de produção estável, a comparação honesta é total mensal contra total mensal: a taxa horária vezes 720, mais o tempo de engenharia que a máquina em bruto deixa à sua equipa, contra um único número managed fixo.
- E se a sua carga de trabalho dispara mesmo durante uma tarde, à hora é o produto certo, de um fornecedor à hora. Nós vendemos a outra coisa, deliberadamente.
O artefacto é sempre o mesmo. Uma folha de cálculo, seis fornecedores ao lado, uma coluna que importa: dólares por GPU-hora, por ordem crescente. A reunião gravita para a primeira linha, porque é para isso que servem as colunas ordenadas. Ninguém na sala faz a única pergunta a que a coluna não consegue responder: de que é preço este número?
Porque uma GPU-hora não é uma unidade do mesmo bem. O preço compara um atributo de um produto que difere em dez, e cada atributo que esconde é um que a sua carga de produção vai encontrar pessoalmente.
O que o número à hora não codifica
De quem é o silício: uma placa de datacenter, ou uma placa de consumo? Que tenancy: só sua, ou partilhada com desconhecidos cujas cargas de trabalho não consegue ver? Que jurisdição: um rack na UE sob direito da UE, ou algures que o anúncio não indica? Que continuidade: reservada, ou interrompível no momento em que alguém oferece mais a meio do trabalho? E quando morre às 2 da manhã, o que acontece: uma cadeia de garantia e um engenheiro, ou o reembolso da hora? Cada uma dessas respostas está incluída no preço. É por isso que o número barato é barato, e o mercado está a ser honesto quanto a isso, nas letras pequenas.
Silício
Tenancy
Jurisdição
Continuidade
Suporte
O preço
A comparação que realmente decide
Para uma carga de trabalho estável, o único tipo para o qual este produto existe, converta tudo para a mesma unidade: um mês. Uma taxa horária a correr 24 horas por dia é a taxa vezes aproximadamente 720 antes de qualquer linha escondida. Depois acrescente as que a máquina em bruto deixa à sua equipa: as lutas com drivers, o fixar da versão de CUDA, a afinação da serving stack, a prevenção. O nosso âmbito de GPU managed explica que trabalho operacional fica connosco; o pedido de dimensionamento de GPU ajuda a definir uma configuração para comparar com a sua despesa atual. Contra a coluna somada está um único orçamento managed fixo com as operações acordadas lá dentro. Não vamos preencher a coluna da esquerda pela sua empresa, porque a folha de cálculo é sua e as taxas mudam todos os meses. Traga a sua carga de trabalho à página GPU Servers para um orçamento com âmbito definido.
| A FOLHA À HORA | A FOLHA MENSAL |
|---|---|
| A taxa vezes as horas que adivinha que vai usar | Um número fixo, conhecido à partida |
| A LINHA QUE DECIDE OS ORÇAMENTOS REAISO tempo dos seus engenheiros a tomar conta da stack: não contado | A camada managed: incluída, e a prevenção é nossa, não sua |
| Preemption e tempo de nova fila: não contado | Reservada: a máquina é sua 24 horas por dia |
| Proveniência e jurisdição: risco sem preço | Silício de datacenter que nos pertence, rack na UE, engenheiros com nome |
Quando à hora é a resposta certa
Se a sua carga de trabalho é um pico de investigação, uma tarde de experiências de fine-tuning, um lote que pode fazer checkpoint e retomar quando a spot instance morre, então a elasticidade à hora é o produto certo e as clouds à hora fazem-no bem. Compre horas, a alguém feito para vender horas. Este artigo é para a outra carga de trabalho: a que corre todos os dias, transporta dados com uma jurisdição, e precisa de silício de datacenter dedicado num rack na UE.
“Uma placa de consumo, uma máquina partilhada ou silício de datacenter dedicado num rack na UE: o preço à hora não lhe vai dizer qual dos três comprou.”
Respostas diretas
Porque é que os preços de GPU nos marketplaces são tão mais baratos?+
Porque o preço reflete o produto: podem ser placas de consumo, capacidade partilhada ou interrompível, uma jurisdição não indicada, e nenhuma cadeia de suporte.
Como comparo o aluguer de GPU à hora com um servidor dedicado mensal?+
Converta para a mesma unidade: a taxa vezes aproximadamente 720 para utilização 24 horas por dia, mais o tempo de engenharia que uma máquina em bruto deixa à sua equipa, mais o tempo de reexecução por preemptions, contra um único número managed fixo. As cargas estáveis normalmente deixam de ser um produto à hora nesse ponto. As irregulares não, e devem continuar à hora.
A capacidade GPU spot ou interrompível serve para produção?+
Para trabalho em lote com checkpoint, às vezes, e é uma decisão de engenharia legítima. Para um serving endpoint que o seu produto chama, uma instância que desaparece por desenho não é um escalão de fiabilidade. É um produto diferente.
São mais baratos do que as clouds à hora?+
Para uma tarde, não. Para uma carga estável 24/7 com as operações incluídas, faça a comparação mensal acima. O formato é a resposta.
Corre-o todos os dias? Compare meses, não horas.
Traga-nos o modelo e a carga de trabalho. Recebe um número fixo com a engenharia lá dentro, em metal na UE que nos pertence, com o seu nome em cima.
Ver os GPU ServersChegou ao fim.
Ponha a leitura em prática
O que executa?
Fale-nos da carga de trabalho, do tráfego e dos requisitos de recuperação. Comece pelo configurador de servidores ou discuta os detalhes com um engenheiro.
Escrito pelos engenheiros que constroem e operam a infraestrutura que descreve.Fale com um engenheiro