Definiciones de tareas de Amazon ECS para cargas de trabajo de machine learning de AWS Neuron

Puede usar instancias Amazon EC2 Trn1, Amazon EC2 Trn2, Amazon EC2 Inf1 (Inf1 solo se admite en el tipo de lanzamiento EC2) y Amazon EC2 Inf2 con los clústeres para cargas de trabajo de machine learning.

Las instancias Trn1 y Trn2 de Amazon EC2 funcionan con chips de AWS Trainium. Estas instancias proporcionan capacitación de alto rendimiento y bajo costo para el machine learning en la nube. Puede entrenar un modelo de inferencia de machine learning mediante un marco de machine learning con AWS Neuron en una instancia de Trn1 y Trn2. Luego, puede ejecutar el modelo en una instancia Inf1 (Inf1 solo se admite en el tipo de lanzamiento EC2) o en una instancia Inf2 para usar la aceleración de los chips de AWS Inferentia.

Las instancias Inf1 e Inf2 de Amazon EC2 funcionan con chips de AWS Inferentia, que proporcionan un alto rendimiento y una inferencia de menor costo en la nube.

Los modelos de machine learning se implementan en contenedores mediante AWS Neuron, que es un kit de desarrollo de software (SDK) especializado. SDK consiste en un compilador, tiempo de ejecución y herramientas de perfilado que optimizan el rendimiento de machine learning de los chips de AWS. AWS Neuron admite marcos de machine learning populares como TensorFlow, PyTorch y Apache MXNet.

Consideraciones

Antes de comenzar a implementar Neuron en Amazon ECS, tenga en cuenta lo siguiente:

Asignación administrada de dispositivos Neuron

Con Managed Instances, puede usar el parámetro resourceRequirements en la definición del contenedor para solicitar dispositivos Neuron. Amazon ECS detecta automáticamente los dispositivos Neuron en la instancia, los asigna a la tarea y configura el contenedor con acceso a todos los dispositivos Neuron de la instancia. Debido a que la tarea requiere acceso exclusivo a todos los dispositivos, solo se ejecuta una tarea de Neuron por instancia.

Selección de instancias Neuron

Para seleccionar tipos de instancia habilitadas para Neuron para las cargas de trabajo de Managed Instances, utilice el objeto instanceRequirements en la plantilla de lanzamiento del proveedor de capacidad. Puede usar los siguientes atributos para seleccionar instancias habilitadas para Neuron:

El siguiente ejemplo utiliza allowedInstanceTypes:

{
    "instanceRequirements": {
        "allowedInstanceTypes": ["inf*", "trn*"]
    }
}

Definición de tarea

Para solicitar dispositivos Neuron en la definición de la tarea, agregue una entrada resourceRequirements con el tipo NeuronDevice y el valor ALL. Esto otorga al contenedor acceso exclusivo a todos los dispositivos Neuron de la instancia.

Existen las siguientes limitaciones:

Una vez que se inicie la tarea, puede comprobar la asignación de dispositivos Neuron mediante una llamada a la operación de la API DescribeTasks. La respuesta incluye un campo neuronDeviceIds en cada contenedor que muestra los ID de los dispositivos Neuron asignados. También puede llamar a la operación de la API DescribeContainerInstances para ver NEURON_DEVICES en los campos registeredResources yremainingResources de la instancia de contenedor.

Para ver un ejemplo de definición de la tarea, consulte Ejemplos de definiciones de tarea de Neuron.

Especificación manual de dispositivos Neuron

Con este enfoque, especifica manualmente las rutas de los dispositivos AWS Trainium o AWS Inferentia en la definición de la tarea mediante el parámetro linuxParameters.devices. Este enfoque funciona tanto con el tipo de lanzamiento de EC2 como con Managed Instances.

Solo se puede ejecutar una tarea de inferencia o entrenamiento de inferencias en cada chip AWS Trainium o AWS Inferentia. Puede ejecutar tantas tareas como chips haya en la instancia si asigna diferentes dispositivos a cada tarea.

Para el tipo de lanzamiento de EC2, puede usar atributos de tipo de instancia al configurar las restricciones de ubicación de tareas para asegurarse de que la tarea se lance en el tipo de instancia que especifique. Para obtener más información, consulte Cómo coloca Amazon ECS las tareas en las instancias de contenedor.

Requisitos de definición de tareas

La definición de la tarea debe ser específica para un único tipo de instancia. Debe configurar un contenedor para que use los dispositivos AWS Trainium o AWS Inferentia específicos disponibles en la instancia de contenedor del host. Para ello, utilice el parámetro linuxParameters. En la tabla que se muestra a continuación se detallan los chips específicos de cada tipo de instancia.

Para ver un ejemplo de definición de la tarea, consulte Ejemplos de definiciones de tarea de Neuron.

Instancias administradas

Managed Instances usa automáticamente una AMI que incluye el controlador de Neuron. No se requiere ninguna configuración adicional de AMI.

Tipo de lanzamiento de EC2

Amazon ECS proporciona una AMI optimizada para Amazon ECS que se basa en Amazon Linux 2023 para cargas de trabajo de AWS Trainium y AWS Inferentia. Viene con los controladores AWS Neuron y el tiempo de ejecución para Docker. Esta AMI facilita la ejecución de cargas de trabajo de inferencia de machine learning en Amazon ECS.

Recomendamos utilizar la AMI de Amazon Linux 2023 (Neuron) optimizada para Amazon ECS cuando se lanzan las instancias Trn1, Inf1 e Inf2 de Amazon EC2.

Puede recuperar la AMI actual de Amazon Linux 2023 (Neuron) optimizada para Amazon ECS a través de la AWS CLI con el siguiente comando.

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2023/neuron/recommended