Seleção de instâncias para os estágios do Neptune ML - Amazon Neptune

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Seleção de instâncias para os estágios do Neptune ML

Os diferentes estágios do processamento do Neptune ML usam diferentes instâncias do SageMaker. Aqui, abordamos como escolher o tipo de instância correto para cada estágio. É possível encontrar informações sobre os tipos e preços de instâncias do SageMaker em Preço do Amazon SageMaker.

Selecionar uma instância para processamento de dados

A etapa de processamento de dados do SageMaker requer uma instância de processamento que tenha memória e armazenamento em disco suficientes para os dados de entrada, intermediários e de saída. A quantidade específica de memória e armazenamento em disco necessária depende das características do grafo do Neptune ML e de os respectivos atributos exportados.

Por padrão, o Neptune ML escolhe a menor instância ml.r5 cuja memória é dez vezes maior que o tamanho dos dados de grafos exportados no disco.

Selecionar uma instância para treinamento e transformação de modelos

Selecionar o tipo de instância certo para treinamento de modelos ou transformação de modelos depende do tipo de tarefa, do tamanho do grafo e dos requisitos de entrega. As instâncias de GPU oferecem o melhor desempenho. Geralmente, recomendamos instâncias seriais p3 e g4dn. Também é possível usar instâncias p2 ou p4d.

Por padrão, o Neptune ML escolhe a menor instância de GPU com mais memória do que o treinamento e a transformação de modelos exigem. É possível encontrar qual é essa seleção no arquivo train_instance_recommendation.json, no local de saída do processamento de dados do Amazon S3. Veja um exemplo do conteúdo de um arquivo train_instance_recommendation.json:

{ "instance": "(the recommended instance type for model training and transform)", "cpu_instance": "(the recommended instance type for base processing instance)", "disk_size": "(the estimated disk space required)", "mem_size": "(the estimated memory required)" }

Selecionar uma instância para um endpoint de inferência

Selecionar o tipo de instância certo para um endpoint de inferência depende do tipo de tarefa, do tamanho do grafo e do seu orçamento. Por padrão, o Neptune ML escolhe a menor instância ml.m5d com mais memória do que o endpoint de inferência exige.

nota

Se forem necessários mais de 384 GB de memória, o Neptune ML usará uma instância ml.r5d.24xlarge.

É possível ver qual tipo de instância o Neptune ML recomenda no arquivo infer_instance_recommendation.json presente na localização do Amazon S3 que você está usando para treinamento de modelos. Veja uma amostra do conteúdo desse arquivo:

{ "instance" : "(the recommended instance type for an inference endpoint)", "disk_size" : "(the estimated disk space required)", "mem_size" : "(the estimated memory required)" }