Costruire una personalizzazione AWS ParallelCluster AMI

Quando si utilizza l'interfaccia a riga di AWS ParallelCluster comando (CLI) oppureAPI, si pagano solo le AWS risorse create quando si creano o si aggiornano AWS ParallelCluster immagini e cluster. Per ulteriori informazioni, consulta AWS servizi usati da AWS ParallelCluster.

PCUIÈ basato su un'architettura serverless ed è possibile utilizzarlo nella categoria AWS Free Tier nella maggior parte dei casi. Per ulteriori informazioni, consulta PCUIcosti.

Prima di continuare a leggere, ti consigliamo di rivedere prima la Azioni bootstrap personalizzate sezione. Determina se le modifiche che desideri apportare possono essere scritte tramite script e supportate nelle versioni future AWS ParallelCluster .

Anche se la creazione di un file personalizzato AMI in generale non è l'ideale, esistono scenari specifici in cui AWS ParallelCluster è necessario crearne uno personalizzatoAMI. Questo tutorial spiega come creare una soluzione personalizzata AMI per questi scenari.

Come personalizzare il AWS ParallelCluster AMI

Esistono due modi per creare una personalizzazione AWS ParallelCluster AMI. Uno di questi due metodi consiste nel crearne uno nuovo AMI utilizzando AWS ParallelCluster CLI. Un altro metodo richiede che tu apporti modifiche manuali per crearne uno nuovo AMI disponibile con il tuo Account AWS.

Crea un file personalizzato AWS ParallelCluster AMI

Se AMI disponi di un software personalizzato, puoi applicare le modifiche necessarie AWS ParallelCluster su di esso. AWS ParallelCluster si affida al servizio EC2 Image Builder per creare progetti personalizzati. AMIs Per ulteriori informazioni, consultare la Guida per l'utente di Image Builder.

Punti chiave:

Fasi:

Risoluzione dei problemi e monitoraggio del processo AMI di creazione

La creazione dell'immagine viene completata in circa un'ora. È possibile monitorare il processo eseguendo il pcluster describe-imagecomando o i comandi di recupero del registro.

$ pcluster describe-image --image-id IMAGE_ID --region REGION

Il build-imagecomando crea uno CloudFormation stack con tutte le EC2 risorse Amazon necessarie per creare l'immagine e avvia il processo Image EC2 Builder.

Dopo aver eseguito il build-imagecomando, è possibile recuperare gli eventi dello CloudFormation stack utilizzando. pcluster get-image-stack-events Puoi filtrare i risultati con il --query parametro per vedere gli ultimi eventi. Per ulteriori informazioni, consulta Filtraggio dell' AWS CLI output nella Guida per l'AWS Command Line Interface utente.

$ pcluster get-image-stack-events --image-id IMAGE_ID --region REGION --query "events[0]"
{
 "eventId": "ParallelClusterImage-CREATE_IN_PROGRESS-2022-04-05T21:39:24.725Z",
 "physicalResourceId": "arn:aws:imagebuilder:us-east-1:123456789012:image/parallelclusterimage-IMAGE_ID/3.7.0/1",
 "resourceStatus": "CREATE_IN_PROGRESS",
 "resourceStatusReason": "Resource creation Initiated",
 "resourceProperties": "{\"InfrastructureConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:infrastructure-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"ImageRecipeArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/parallelclusterimage-IMAGE_ID/3.7.0\",\"DistributionConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:distribution-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"Tags\":{\"parallelcluster:image_name\":\"IMAGE_ID\",\"parallelcluster:image_id\":\"IMAGE_ID\"}}",
 "stackId": "arn:aws:cloudformation:us-east-1:123456789012:stack/IMAGE_ID/abcd1234-ef56-gh78-ij90-1234abcd5678",
 "stackName": "IMAGE_ID",
 "logicalResourceId": "ParallelClusterImage",
 "resourceType": "AWS::ImageBuilder::Image",
 "timestamp": "2022-04-05T21:39:24.725Z"
}

Dopo circa 15 minuti, gli eventi dello stack vengono visualizzati nella voce degli eventi di registro relativa alla creazione di Image Builder. È ora possibile elencare i flussi di log delle immagini e monitorare i passaggi di Image Builder pcluster list-image-log-streamsutilizzando pcluster get-image-log-eventsi comandi and.

$ pcluster list-image-log-streams --image-id IMAGE_ID --region REGION \
    --query 'logStreams[*].logStreamName'

 "3.7.0/1"
]

$ pcluster get-image-log-events --image-id IMAGE_ID --region REGION \
--log-stream-name 3.7.0/1 --limit 3
{
 "nextToken": "f/36295977202298886557255241372854078762600452615936671762",
 "prevToken": "b/36295977196879805474012299949460899222346900769983430672",
 "events": [
   {
     "message": "ExecuteBash: FINISHED EXECUTION",
     "timestamp": "2022-04-05T22:13:26.633Z"
   },
   {
     "message": "Document arn:aws:imagebuilder:us-east-1:123456789012:component/parallelclusterimage-test-abcd1234-ef56-gh78-ij90-1234abcd5678/3.7.0/1",
     "timestamp": "2022-04-05T22:13:26.741Z"
   },
   {
     "message": "TOE has completed execution successfully",
     "timestamp": "2022-04-05T22:13:26.819Z"
   }
 ]
}

Continuate a controllare con il describe-imagecomando finché non ne vedete lo stato. BUILD_COMPLETE

$ pcluster describe-image --image-id IMAGE_ID --region REGION
{
 "imageConfiguration": {
   "url": "https://parallelcluster-1234abcd5678efgh-v1-do-not-delete.s3.us-east-1.amazonaws.com/parallelcluster/3.7.0/images/IMAGE_ID-abcd1234efgh5678/configs/image-config.yaml?Signature=..."
 },
 "imageId": "IMAGE_ID",
 "imageBuildStatus": "BUILD_COMPLETE",
 "region": "us-east-1",
 "ec2AmiInfo": {
     "amiName": "IMAGE_ID 2022-04-05T21-39-24.020Z",
     "amiId": "ami-1234stuv5678wxyz",
     "description": "AWS ParallelCluster AMI for alinux2, kernel-4.14.238-182.422.amzn2.x86_64, lustre-2.10.8-5.amzn2.x86_64, efa-1.13.0-1.amzn2.x86_64, dcv-2021.1.10598-1.el7.x86_64, slurm-20-11-8-1",
     "state": "AVAILABLE",
     "tags": [
      {
        "value": "2021.3.11591-1.el7.x86_64",
        "key": "parallelcluster:dcv_version"
      },
      ...
     ],
   "architecture": "x86_64"
 },
 "version": "3.7.0"      
}

Se devi risolvere un problema di AMI creazione personalizzata, crea un archivio dei log delle immagini come descritto nei passaggi seguenti.

È possibile archiviare i log in un bucket Amazon S3 o in un file locale, a seconda del parametro. --output

$ pcluster export-image-logs --image-id IMAGE_ID --region REGION \
--bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER
{
 "url": "https://BUCKET_NAME.s3.us-east-1.amazonaws.com/BUCKET-FOLDER/IMAGE_ID-logs-202209071136.tar.gz?AWSAccessKeyId=..."
}

$ pcluster export-image-logs --image-id IMAGE_ID \
--region REGION --bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER --output-file /tmp/archive.tar.gz
{
 "path": "/tmp/archive.tar.gz"
}

L'archivio contiene i CloudWatch Logs Streams relativi al processo AWS CloudFormation di Image Builder e agli eventi dello stack. L'esecuzione del comando potrebbe richiedere alcuni minuti.

Gestione personalizzata AMIs

A partire dalla AWS ParallelCluster versione 3.0.0, è stato aggiunto un nuovo set di comandi CLI per creare, monitorare e gestire il ciclo di vita dell'immagine. Per ulteriori informazioni sui comandi, consulta i comandi di pcluster.

Modificare un AWS ParallelCluster AMI

Questo metodo consiste nel modificare un funzionario AWS ParallelCluster AMI aggiungendovi una personalizzazione. La base AWS ParallelCluster AMIs viene aggiornata con nuove versioni. Questi AMIs hanno tutti i componenti necessari AWS ParallelCluster per funzionare una volta installati e configurati. Puoi iniziare con uno di questi come base.

Punti chiave:

Fasi: