Definições de tarefa do Amazon ECS para workloads de machine learning do AWS Neuron

É possível usar instâncias Amazon EC2 Trn1, Amazon EC2 Trn2, Amazon EC2 Inf1 (Inf1 só é compatível com o tipo de inicialização do EC2) e Amazon EC2 Inf2 em seus clusters para workloads de machine learning.

As instâncias Trn1 e Trn2 do Amazon EC2 são executadas em chips AWS Trainium. Essas instâncias oferecem treinamento de alta performance e baixo custo para machine learning na nuvem. É possível treinar um modelo de inferência de machine learning usando um framework de machine learning com o AWS Neuron em uma instância Trn1 ou Trn2. Em seguida, é possível executar o modelo em uma instância Inf1 (Inf1 só é compatível com o tipo de inicialização do EC2) ou uma instância Inf2 para usar a aceleração dos chips AWS Inferentia.

As instâncias Inf1 e as instâncias Inf2 do Amazon EC2 são executadas em chips AWS Inferentia. Eles fornecem alta performance e inferência de menor custo na nuvem.

Modelos de machine learning são implantados em contêineres com o uso do AWS Neuron, um kit de desenvolvimento de software (SDK)especializado. O SDK consiste em um compilador, runtime e ferramentas de criação de perfil que otimizam a performance de machine learning dos chips de machine learning da AWS. AWS O Neuron é compatível com frameworks de machine learning conhecidos, como TensorFlow, PyTorch e Apache MXNet.

Considerações

Antes de começar a implantar o Neuron no Amazon ECS, considere o seguinte:

Alocação gerenciada de dispositivos Neuron

Com as instâncias gerenciadas, você pode usar o parâmetro resourceRequirements na definição do contêiner para solicitar dispositivos Neuron. O Amazon ECS descobre automaticamente os dispositivos Neuron na instância, os atribui à sua tarefa e configura o contêiner com acesso a todos os dispositivos Neuron na instância. Como a tarefa requer acesso exclusivo a todos os dispositivos, apenas uma tarefa do Neuron é executada por instância.

Seleção de instâncias Neuron

Para selecionar tipos de instância habilitados para Neuron para suas workloads de instâncias gerenciadas, use o objeto instanceRequirements no modelo de inicialização do provedor de capacidade. É possível usar os seguintes atributos para selecionar instâncias habilitadas para Neuron:

O exemplo a seguir usa allowedInstanceTypes:

{
    "instanceRequirements": {
        "allowedInstanceTypes": ["inf*", "trn*"]
    }
}

definição da tarefa

Para solicitar dispositivos Neuron na definição da sua tarefa, adicione uma entrada resourceRequirements com o tipo NeuronDevice e o valor ALL. Isso permite que o contêiner tenha acesso exclusivo a todos os dispositivos Neuron na instância.

As limitações a seguir aplicam-se:

Após sua tarefa começar, você poderá verificar a atribuição do dispositivo Neuron chamando a operação DescribeTasks da API. A resposta inclui um campo neuronDeviceIds em cada contêiner mostrando os IDs dos dispositivos Neuron atribuídos. Você também pode chamar a operação DescribeContainerInstances da API para visualizar NEURON_DEVICES nos campos registeredResources e remainingResources da instância de contêiner.

Para um exemplo de definição de tarefa, consulte Exemplo de definições de tarefas do Neuron.

Especificação manual de dispositivo Neuron

Com essa abordagem, você especifica manualmente os caminhos dos dispositivos AWS Trainium ou AWS Inferentia na definição da tarefa usando o parâmetro linuxParameters.devices. Essa abordagem funciona tanto no tipo de inicialização do EC2 como em instâncias gerenciadas.

Apenas uma tarefa de inferência ou de treinamento de inferência pode ser executada em cada chip AWSTrainium ou AWSInferentia. É possível executar quantas tarefas for possível com os chips disponíveis na instância ao atribuir diferentes dispositivos a cada tarefa.

Para o tipo de inicialização do EC2, você pode usar atributos de tipo de instância ao configurar restrições de posicionamento de tarefas para garantir que a tarefa seja iniciada no tipo de instância que você especificar. Para obter mais informações, consulte Como o Amazon ECS posiciona tarefas em instâncias de contêineres.

Requisitos de definição de tarefa

A definição de tarefa deve ser específica de um único tipo de instância. É necessário configurar um contêiner para usar os dispositivos AWS Trainium ou AWS Inferentia específicos, disponíveis na instância de contêiner host. Para isso, use o parâmetro linuxParameters. A tabela a seguir detalha os chips específicos de cada tipo de instância.

Para um exemplo de definição de tarefa, consulte Exemplo de definições de tarefas do Neuron.

Instâncias gerenciadas

As instâncias gerenciadas usam automaticamente uma AMI que inclui o driver Neuron. Não é necessário nenhuma configuração adicional de AMI.

Tipo de inicialização do EC2

O Amazon ECS fornece uma AMI otimizada para o Amazon ECS que se baseia no Amazon Linux 2023 para workloads do AWS Trainium e do AWS Inferentia. Ela vem com drivers do AWS Neuron e runtime para Docker. Essa AMI facilita a execução de workloads de inferência de machine learning no Amazon ECS.

Recomendamos usar a AMI do Amazon Linux 2023 (Neuron) otimizada para o Amazon ECS ao iniciar as instâncias Trn1, Inf1 e Inf2 do Amazon EC2.

É possível recuperar a AMI atual do Amazon Linux 2023 (Neuron) otimizada para o Amazon ECS ao usar a AWS CLI com o comando a seguir.

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2023/neuron/recommended