Einen Benutzerdefiniert erstellen AWS ParallelCluster AMI

Wenn Sie die AWS ParallelCluster Befehlszeilenschnittstelle (CLI) oder die API verwenden, zahlen Sie nur für die AWS Ressourcen, die beim Erstellen oder Aktualisieren von AWS ParallelCluster Images und Clustern erstellt werden. Weitere Informationen finden Sie unter AWS Dienste, die von verwendet werden AWS ParallelCluster.

Bevor Sie weiter lesen, empfehlen wir Ihnen, zuerst den Benutzerdefinierte Bootstrap-Aktionen Abschnitt zu lesen. Prüfen Sie, ob für die Änderungen, die Sie vornehmen möchten, ein Skript erstellt werden können und ob sie in zukünftigen AWS ParallelCluster Versionen unterstützt werden können.

Auch wenn das Erstellen eines benutzerdefinierten AMI im Allgemeinen nicht ideal ist, gibt es bestimmte Szenarien, in denen das Erstellen eines benutzerdefinierten AMI für erforderlich AWS ParallelCluster ist. In diesem Tutorial wird beschrieben, wie Sie ein benutzerdefiniertes AMI für diese Szenarien erstellen.

Wie passt man das an AWS ParallelCluster AMI

Es gibt zwei Möglichkeiten, ein benutzerdefiniertes AWS ParallelCluster AMI zu erstellen. Eine dieser beiden Methoden besteht darin, mithilfe der AWS ParallelCluster CLI ein neues AMI zu erstellen. Bei einer anderen Methode müssen Sie manuelle Änderungen vornehmen, um ein neues AMI zu erstellen, das unter Ihrem verfügbar ist AWS-Konto.

Erstellen Sie ein benutzerdefiniertes AWS ParallelCluster AMI

Wenn Sie ein benutzerdefiniertes AMI und eine benutzerdefinierte Software haben, können Sie die AWS ParallelCluster erforderlichen Änderungen zusätzlich anwenden. AWS ParallelCluster verlässt sich auf den EC2 Image Builder-Dienst, um benutzerdefinierte AMIs zu erstellen. Weitere Informationen finden Sie im Image Builder-Benutzerhandbuch.

Die wichtigsten Punkte:

Schritte:

Problembehandlung und Überwachung des AMI-Erstellungsprozesses

Die Image-Erstellung ist in etwa einer Stunde abgeschlossen. Sie können den Prozess überwachen, indem Sie den pcluster describe-image Befehl oder die Befehle zum Abrufen von Protokollen ausführen.

$ pcluster describe-image --image-id IMAGE_ID --region REGION

Der build-image Befehl erstellt einen CloudFormation Stack mit allen Amazon EC2-Ressourcen, die zum Erstellen des Images erforderlich sind, und startet den EC2 Image Builder-Prozess.

Nach der Ausführung des build-image Befehls ist es möglich, CloudFormation Stack-Ereignisse mithilfe von abzurufen. pcluster get-image-stack-events Sie können die Ergebnisse mit dem --query Parameter filtern, um die neuesten Ereignisse anzuzeigen. Weitere Informationen finden Sie im AWS Command Line Interface Benutzerhandbuch unter Filtern der AWS CLI Ausgabe.

$ pcluster get-image-stack-events --image-id IMAGE_ID --region REGION --query "events[0]"
{
 "eventId": "ParallelClusterImage-CREATE_IN_PROGRESS-2022-04-05T21:39:24.725Z",
 "physicalResourceId": "arn:aws:imagebuilder:us-east-1:123456789012:image/parallelclusterimage-IMAGE_ID/3.16.1/1",
 "resourceStatus": "CREATE_IN_PROGRESS",
 "resourceStatusReason": "Resource creation Initiated",
 "resourceProperties": "{\"InfrastructureConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:infrastructure-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"ImageRecipeArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/parallelclusterimage-IMAGE_ID/3.16.1\",\"DistributionConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:distribution-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"Tags\":{\"parallelcluster:image_name\":\"IMAGE_ID\",\"parallelcluster:image_id\":\"IMAGE_ID\"}}",
 "stackId": "arn:aws:cloudformation:us-east-1:123456789012:stack/IMAGE_ID/abcd1234-ef56-gh78-ij90-1234abcd5678",
 "stackName": "IMAGE_ID",
 "logicalResourceId": "ParallelClusterImage",
 "resourceType": "AWS::ImageBuilder::Image",
 "timestamp": "2022-04-05T21:39:24.725Z"
}

Nach etwa 15 Minuten erscheinen die Stack-Ereignisse im Protokollereigniseintrag, der sich auf die Erstellung von Image Builder bezieht. Sie können jetzt Image-Log-Streams auflisten und die Image Builder-Schritte mithilfe der pcluster get-image-log-events Befehle pcluster list-image-log-streams und überwachen.

$ pcluster list-image-log-streams --image-id IMAGE_ID --region REGION \
    --query 'logStreams[*].logStreamName'

 "3.16.1/1"
]

$ pcluster get-image-log-events --image-id IMAGE_ID --region REGION \
--log-stream-name 3.16.1/1 --limit 3
{
 "nextToken": "f/36295977202298886557255241372854078762600452615936671762",
 "prevToken": "b/36295977196879805474012299949460899222346900769983430672",
 "events": [
   {
     "message": "ExecuteBash: FINISHED EXECUTION",
     "timestamp": "2022-04-05T22:13:26.633Z"
   },
   {
     "message": "Document arn:aws:imagebuilder:us-east-1:123456789012:component/parallelclusterimage-test-abcd1234-ef56-gh78-ij90-1234abcd5678/3.16.1/1",
     "timestamp": "2022-04-05T22:13:26.741Z"
   },
   {
     "message": "TOE has completed execution successfully",
     "timestamp": "2022-04-05T22:13:26.819Z"
   }
 ]
}

Prüfen Sie mit dem describe-image Befehl so lange, bis Sie den BUILD_COMPLETE Status sehen.

$ pcluster describe-image --image-id IMAGE_ID --region REGION
{
 "imageConfiguration": {
   "url": "https://parallelcluster-1234abcd5678efgh-v1-do-not-delete.s3.us-east-1.amazonaws.com/parallelcluster/3.16.1/images/IMAGE_ID-abcd1234efgh5678/configs/image-config.yaml?Signature=..."
 },
 "imageId": "IMAGE_ID",
 "imageBuildStatus": "BUILD_COMPLETE",
 "region": "us-east-1",
 "ec2AmiInfo": {
     "amiName": "IMAGE_ID 2022-04-05T21-39-24.020Z",
     "amiId": "ami-1234stuv5678wxyz",
     "description": "AWS ParallelCluster AMI for alinux2, kernel-4.14.238-182.422.amzn2.x86_64, lustre-2.10.8-5.amzn2.x86_64, efa-1.13.0-1.amzn2.x86_64, dcv-2021.1.10598-1.el7.x86_64, slurm-20-11-8-1",
     "state": "AVAILABLE",
     "tags": [
      {
        "value": "2021.3.11591-1.el7.x86_64",
        "key": "parallelcluster:dcv_version"
      },
      ...
     ],
   "architecture": "x86_64"
 },
 "version": "3.16.1"      
}

Wenn Sie ein Problem bei der Erstellung eines benutzerdefinierten AMIs beheben müssen, erstellen Sie ein Archiv der Image-Protokolle, wie in den folgenden Schritten beschrieben.

Je nach --output Parameter ist es möglich, die Protokolle in einem Amazon S3-Bucket oder in einer lokalen Datei zu archivieren.

$ pcluster export-image-logs --image-id IMAGE_ID --region REGION \
--bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER
{
 "url": "https://BUCKET_NAME.s3.us-east-1.amazonaws.com/BUCKET-FOLDER/IMAGE_ID-logs-202209071136.tar.gz?AWSAccessKeyId=..."
}

$ pcluster export-image-logs --image-id IMAGE_ID \
--region REGION --bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER --output-file /tmp/archive.tar.gz
{
 "path": "/tmp/archive.tar.gz"
}

Das Archiv enthält die CloudWatch Logs-Streams, die sich auf den Image Builder-Prozess und die CloudFormation Stack-Ereignisse beziehen. Die Ausführung des Befehls kann mehrere Minuten dauern.

Verwaltung benutzerdefinierter AMIs

Ab AWS ParallelCluster Version 3.0.0 wurde der CLI ein neuer Befehlssatz hinzugefügt, um den Image-Lebenszyklus zu erstellen, zu überwachen und zu verwalten. Weitere Informationen zu den Befehlen finden Sie unter pcluster-Befehle.

Ändern Sie eine AWS ParallelCluster AMI

Diese Methode besteht darin, ein offizielles AWS ParallelCluster AMI zu modifizieren, indem zusätzliche Anpassungen hinzugefügt werden. Die AWS ParallelCluster Basis-AMIs werden mit neuen Versionen aktualisiert. Diese AMIs verfügen über alle Komponenten, die für den Betrieb AWS ParallelCluster erforderlich sind, wenn sie installiert und konfiguriert sind. Sie können mit einer dieser Komponenten als Basis beginnen.

Die wichtigsten Punkte:

Schritte: