Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Definizioni delle attività di Amazon ECS per AWS Carichi di lavoro di machine learning Neuron

Puoi utilizzare le istanze Amazon EC2 Trn1, Amazon EC2 Trn2, Amazon EC2 Inf1 (Inf1 è supportato solo sul tipo di avvio EC2) e Amazon EC2 Inf2 con i tuoi cluster per carichi di lavoro di machine learning. https://aws.amazon.com/ec2/instance-types/inf2/

Le istanze Amazon EC2 AWS Trn1 e Trn2 sono alimentate da chip Trainium. Queste istanze offrono addestramento ad alte prestazioni e a basso costo per il machine learning nel cloud. Puoi addestrare un modello di inferenza di machine learning utilizzando un framework di machine learning con AWS Neuron su un'istanza Trn1 o Trn2. Quindi, puoi eseguire il modello su un'istanza Inf1 (Inf1 è supportato solo sul tipo di avvio EC2) o su un'istanza Inf2 per utilizzare l'accelerazione dei chip Inferentia. AWS

Le istanze Inf1 e Inf2 di Amazon EC2 si basano sui chip AWS Inferentia, che offrono prestazioni elevate e inferenze a costi contenuti nel cloud.

I modelli di machine learning vengono implementati in container utilizzando AWS Neuron, ovvero un Software Developer Kit (SDK) specializzato. L'SDK è costituito da un compilatore, un runtime e strumenti di profilazione che ottimizzano le prestazioni di apprendimento automatico dei chip di apprendimento automatico. AWS AWS Neuron supporta i più diffusi framework di machine learning come TensorFlow, e Apache MXNet. PyTorch

Considerazioni

Prima di iniziare a implementare Neuron su Amazon ECS, tieni presente quanto segue:

Allocazione gestita dei dispositivi Neuron

Con Managed Instances, puoi utilizzare il resourceRequirements parametro nella definizione del contenitore per richiedere i dispositivi Neuron. Amazon ECS rileva automaticamente i dispositivi Neuron sull'istanza, li assegna all'attività e configura il contenitore con accesso a tutti i dispositivi Neuron sull'istanza. Poiché l'attività richiede l'accesso esclusivo a tutti i dispositivi, viene eseguita solo un'attività Neuron per istanza.

Selezione delle istanze Neuron

Per selezionare i tipi di Neuron-enabled istanze per i carichi di lavoro delle istanze gestite, utilizzate l'instanceRequirementsoggetto nel modello di avvio del fornitore di capacità. È possibile utilizzare i seguenti attributi per selezionare Neuron-enabled le istanze:

Nell'esempio seguente viene utilizzato allowedInstanceTypes:

{
    "instanceRequirements": {
        "allowedInstanceTypes": ["inf*", "trn*"]
    }
}

Definizione di attività

Per richiedere i dispositivi Neuron nella definizione dell'attività, aggiungete una resourceRequirements voce con tipo NeuronDevice e valore. ALL Ciò fornisce al contenitore l'accesso esclusivo a tutti i dispositivi Neuron sull'istanza.

Vengono applicati i vincoli seguenti:

Dopo l'avvio dell'attività, puoi verificare l'assegnazione del dispositivo Neuron richiamando l'DescribeTasksoperazione API. La risposta include un neuronDeviceIds campo su ogni contenitore che mostra gli ID dei dispositivi Neuron assegnati. Puoi anche chiamare l'operazione DescribeContainerInstances API per visualizzarla NEURON_DEVICES nei remainingResources campi registeredResources e per l'istanza del contenitore.

Per un esempio di definizione dell'attività, consultaEsempio di definizioni delle attività Neuron.

Specifiche manuali del dispositivo Neuron

Con questo approccio, specificate manualmente i percorsi dei dispositivi AWS Trainium o AWS Inferentia nella definizione dell'attività utilizzando il parametro. linuxParameters.devices Questo approccio funziona sia sul tipo di avvio EC2 che sulle istanze gestite.

Puoi eseguire soltanto un'attività di inferenza o di addestramento all'inferenza su ogni chip AWS Trainium o AWS Inferentia. È possibile eseguire tante attività quanti sono i chip presenti sull'istanza assegnando dispositivi diversi a ciascuna attività.

Per il tipo di avvio EC2, puoi utilizzare gli attributi del tipo di istanza quando configuri i vincoli di posizionamento dell'attività per assicurarti che l'attività venga avviata sul tipo di istanza specificato. Per ulteriori informazioni, consulta In che modo Amazon ECS colloca le attività sulle istanze dei container.

Requisiti di definizione di attività

La definizione di attività deve essere specifica per il tipo di istanza. È necessario configurare un contenitore per utilizzare dispositivi AWS Trainium o AWS Inferentia specifici disponibili sull'istanza del contenitore host. Puoi farlo usando il parametro linuxParameters. Nella tabella seguente vengono descritti in dettaglio i chip specifici per ogni tipo di istanza.

Per un esempio di definizione delle attività, vedereEsempio di definizioni delle attività Neuron.

Istanze gestite

Le istanze gestite utilizzano automaticamente un'AMI che include il driver Neuron. Non è richiesta alcuna configurazione AMI aggiuntiva.

Tipo di avvio EC2

Amazon ECS fornisce un'AMI ottimizzata per Amazon ECS basata su Amazon Linux 2023 per carichi di lavoro AWS Trainium e AWS Inferentia. Viene fornito con i driver e il runtime AWS Neuron per Docker. Questa AMI semplifica l'esecuzione dei carichi di lavoro di inferenza di machine learning su Amazon ECS.

Consigliamo di utilizzare l'AMI Amazon ECS-optimized Amazon Linux 2023 (Neuron) per l'avvio delle istanze Amazon EC2 Trn1, Inf1 e Inf2.

Puoi recuperare l'AMI Amazon ECS-optimized Amazon Linux 2023 (Neuron) corrente utilizzando il seguente comando. AWS CLI

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2023/neuron/recommended