Einen Custom erstellen AWS ParallelCluster AMI

Wenn Sie die AWS ParallelCluster Befehlszeilenschnittstelle (CLI) oder verwendenAPI, zahlen Sie nur für die AWS Ressourcen, die beim Erstellen oder Aktualisieren von AWS ParallelCluster Images und Clustern erstellt oder aktualisiert werden. Weitere Informationen finden Sie unter AWS Dienste, die genutzt werden von AWS ParallelCluster.

Das PCUI basiert auf einer serverlosen Architektur und kann in den meisten Fällen im Rahmen des AWS kostenlosen Kontingents verwendet werden. Weitere Informationen finden Sie unter PCUIkostet.

Bevor Sie weiterlesen, empfehlen wir Ihnen, zunächst den Benutzerdefinierte Bootstrap-Aktionen Abschnitt zu lesen. Stellen Sie fest, ob die Änderungen, die Sie vornehmen möchten, skriptgesteuert werden können und in future AWS ParallelCluster Versionen unterstützt werden können.

Auch wenn das Erstellen einer benutzerdefinierten AMI Version im Allgemeinen nicht ideal ist, gibt es bestimmte Szenarien, in denen die Erstellung einer benutzerdefinierten AMI Version erforderlich AWS ParallelCluster ist. In diesem Tutorial wird beschrieben, wie Sie eine benutzerdefinierte Version AMI für diese Szenarien erstellen.

Wie passe ich das an AWS ParallelCluster AMI

Es gibt zwei Möglichkeiten, ein benutzerdefiniertes zu erstellen AWS ParallelCluster AMI. Eine dieser beiden Methoden besteht darin, eine neue AMI mit dem zu erstellen AWS ParallelCluster CLI. Eine andere Methode erfordert, dass Sie manuelle Änderungen vornehmen, um eine neue zu erstellenAMI, die unter Ihrem verfügbar ist AWS-Konto.

Erstellen Sie ein benutzerdefiniertes AWS ParallelCluster AMI

Wenn Sie über eine benutzerdefinierte AMI Software verfügen, können Sie die erforderlichen Änderungen zusätzlich AWS ParallelCluster darauf anwenden. AWS ParallelCluster verlässt sich auf den EC2 Image Builder Builder-Dienst, um maßgeschneiderte zu erstellenAMIs. Weitere Informationen finden Sie im Image Builder Builder-Benutzerhandbuch.

Die wichtigsten Punkte:

Schritte:

Fehlerbehebung und Überwachung des AMI Erstellungsprozesses

Die Image-Erstellung ist in etwa einer Stunde abgeschlossen. Sie können den Prozess überwachen, indem Sie den pcluster describe-imageBefehl oder die Befehle zum Abrufen von Protokollen ausführen.

$ pcluster describe-image --image-id IMAGE_ID --region REGION

Der build-imageBefehl erstellt einen CloudFormation Stapel mit allen EC2 Amazon-Ressourcen, die zum Erstellen des Images erforderlich sind, und startet den EC2 Image Builder Builder-Prozess.

Nach der Ausführung des build-imageBefehls ist es möglich, CloudFormation Stack-Ereignisse mithilfe von abzurufen pcluster get-image-stack-events. Sie können die Ergebnisse mit dem --query Parameter filtern, um die neuesten Ereignisse zu sehen. Weitere Informationen finden Sie im AWS Command Line Interface Benutzerhandbuch unter Filtern der AWS CLI Ausgabe.

$ pcluster get-image-stack-events --image-id IMAGE_ID --region REGION --query "events[0]"
{
 "eventId": "ParallelClusterImage-CREATE_IN_PROGRESS-2022-04-05T21:39:24.725Z",
 "physicalResourceId": "arn:aws:imagebuilder:us-east-1:123456789012:image/parallelclusterimage-IMAGE_ID/3.7.0/1",
 "resourceStatus": "CREATE_IN_PROGRESS",
 "resourceStatusReason": "Resource creation Initiated",
 "resourceProperties": "{\"InfrastructureConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:infrastructure-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"ImageRecipeArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/parallelclusterimage-IMAGE_ID/3.7.0\",\"DistributionConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:distribution-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"Tags\":{\"parallelcluster:image_name\":\"IMAGE_ID\",\"parallelcluster:image_id\":\"IMAGE_ID\"}}",
 "stackId": "arn:aws:cloudformation:us-east-1:123456789012:stack/IMAGE_ID/abcd1234-ef56-gh78-ij90-1234abcd5678",
 "stackName": "IMAGE_ID",
 "logicalResourceId": "ParallelClusterImage",
 "resourceType": "AWS::ImageBuilder::Image",
 "timestamp": "2022-04-05T21:39:24.725Z"
}

Nach etwa 15 Minuten werden die Stack-Ereignisse im Protokollereigniseintrag angezeigt, der sich auf die Erstellung von Image Builder bezieht. Sie können jetzt Image-Log-Streams auflisten und die Image Builder Builder-Schritte mithilfe von pcluster list-image-log-streamspcluster get-image-log-eventsand-Befehlen überwachen.

$ pcluster list-image-log-streams --image-id IMAGE_ID --region REGION \
    --query 'logStreams[*].logStreamName'

 "3.7.0/1"
]

$ pcluster get-image-log-events --image-id IMAGE_ID --region REGION \
--log-stream-name 3.7.0/1 --limit 3
{
 "nextToken": "f/36295977202298886557255241372854078762600452615936671762",
 "prevToken": "b/36295977196879805474012299949460899222346900769983430672",
 "events": [
   {
     "message": "ExecuteBash: FINISHED EXECUTION",
     "timestamp": "2022-04-05T22:13:26.633Z"
   },
   {
     "message": "Document arn:aws:imagebuilder:us-east-1:123456789012:component/parallelclusterimage-test-abcd1234-ef56-gh78-ij90-1234abcd5678/3.7.0/1",
     "timestamp": "2022-04-05T22:13:26.741Z"
   },
   {
     "message": "TOE has completed execution successfully",
     "timestamp": "2022-04-05T22:13:26.819Z"
   }
 ]
}

Prüfen Sie mit dem describe-imageBefehl weiter, bis Sie den BUILD_COMPLETE Status sehen.

$ pcluster describe-image --image-id IMAGE_ID --region REGION
{
 "imageConfiguration": {
   "url": "https://parallelcluster-1234abcd5678efgh-v1-do-not-delete.s3.us-east-1.amazonaws.com/parallelcluster/3.7.0/images/IMAGE_ID-abcd1234efgh5678/configs/image-config.yaml?Signature=..."
 },
 "imageId": "IMAGE_ID",
 "imageBuildStatus": "BUILD_COMPLETE",
 "region": "us-east-1",
 "ec2AmiInfo": {
     "amiName": "IMAGE_ID 2022-04-05T21-39-24.020Z",
     "amiId": "ami-1234stuv5678wxyz",
     "description": "AWS ParallelCluster AMI for alinux2, kernel-4.14.238-182.422.amzn2.x86_64, lustre-2.10.8-5.amzn2.x86_64, efa-1.13.0-1.amzn2.x86_64, dcv-2021.1.10598-1.el7.x86_64, slurm-20-11-8-1",
     "state": "AVAILABLE",
     "tags": [
      {
        "value": "2021.3.11591-1.el7.x86_64",
        "key": "parallelcluster:dcv_version"
      },
      ...
     ],
   "architecture": "x86_64"
 },
 "version": "3.7.0"      
}

Wenn Sie ein Problem mit der benutzerdefinierten AMI Erstellung beheben müssen, erstellen Sie ein Archiv der Image-Logs, wie in den folgenden Schritten beschrieben.

Je nach --output Parameter ist es möglich, die Protokolle in einem Amazon S3 S3-Bucket oder in einer lokalen Datei zu archivieren.

$ pcluster export-image-logs --image-id IMAGE_ID --region REGION \
--bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER
{
 "url": "https://BUCKET_NAME.s3.us-east-1.amazonaws.com/BUCKET-FOLDER/IMAGE_ID-logs-202209071136.tar.gz?AWSAccessKeyId=..."
}

$ pcluster export-image-logs --image-id IMAGE_ID \
--region REGION --bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER --output-file /tmp/archive.tar.gz
{
 "path": "/tmp/archive.tar.gz"
}

Das Archiv enthält die CloudWatch Logs-Streams, die sich auf den Image Builder Builder-Prozess und die AWS CloudFormation Stack-Ereignisse beziehen. Die Ausführung des Befehls kann mehrere Minuten dauern.

Benutzerdefiniert verwalten AMIs

Ab AWS ParallelCluster Version 3.0.0 wurde ein neuer Befehlssatz CLI zum Erstellen, Überwachen und Verwalten des Image-Lebenszyklus hinzugefügt. Weitere Informationen zu den Befehlen finden Sie unter pcluster-Befehle.

Ändern Sie eine AWS ParallelCluster AMI

Diese Methode besteht darin, einen Beamten zu modifizieren, AWS ParallelCluster AMI indem zusätzliche Anpassungen hinzugefügt werden. Die Basis AWS ParallelCluster AMIs wird mit neuen Versionen aktualisiert. Diese AMIs enthalten alle Komponenten, die für den Betrieb AWS ParallelCluster bei der Installation und Konfiguration erforderlich sind. Sie können mit einer davon als Basis beginnen.

Die wichtigsten Punkte:

Schritte: