カスタムの構築 AWS ParallelCluster AMI

AWS ParallelCluster コマンドラインインターフェイス (CLI) または を使用する場合API、 AWS ParallelCluster イメージとクラスターを作成または更新するときに作成された AWS リソースに対してのみ料金が発生します。詳細については、「AWS が使用する のサービス AWS ParallelCluster」を参照してください。

AWS ParallelCluster UI はサーバーレスアーキテクチャ上に構築されており、ほとんどの場合、 AWS 無料利用枠カテゴリ内で使用できます。詳細については、「AWS ParallelCluster UI コスト」を参照してください。

この先をお読みになる前に、まず「カスタムブートストラップアクション」のセクションを確認することをお勧めします。希望する変更がスクリプト化され、今後の AWS ParallelCluster リリースでサポートされるかどうかを確認してください。

AMI 一般的にカスタムを構築するのは理想的ではありませんが、 AMI のカスタムを構築する AWS ParallelCluster 必要がある特定のシナリオがあります。このチュートリアルでは、これらのシナリオAMIのカスタムを構築する方法について説明します。

をカスタマイズする方法 AWS ParallelCluster AMI

カスタム を構築するには 2 つの方法があります AWS ParallelCluster AMI。これら 2 つの方法の 1 つは、 AMIを使用して新しい を構築することです AWS ParallelCluster CLI。もう 1 つの方法では、 でAMI利用可能な新しい を構築するために、手動で変更を行う必要があります AWS アカウント。

カスタムを構築する AWS ParallelCluster AMI

カスタマイズされた AMIとソフトウェアがある場合は、 によって必要な変更 AWS ParallelCluster をその上に適用できます。 AWS ParallelCluster はEC2、Image Builder サービスを使用してカスタマイズされた を構築しますAMIs。詳細については、「Image Builder User Guide」を参照してください。

キーポイント:

ステップ:

AMI作成プロセスのトラブルシューティングとモニタリング

イメージの作成は約 1 時間で完了します。pcluster describe-image コマンドまたはログ検索コマンドを実行してプロセスをモニタリングできます。

$ pcluster describe-image --image-id IMAGE_ID --region REGION

build-image コマンドは、イメージの構築に必要なすべての Amazon EC2リソースを含む CloudFormation スタックを作成し、EC2Image Builder プロセスを起動します。

build-image コマンドの実行後、 を使用して CloudFormation スタックイベントを取得できますpcluster get-image-stack-events。--query パラメータで結果をフィルタリングして、最新のイベントを表示できます。詳細については、AWS Command Line Interface 「 ユーザーガイド」の AWS CLI 「出力のフィルタリング」を参照してください。

$ pcluster get-image-stack-events --image-id IMAGE_ID --region REGION --query "events[0]"
{
 "eventId": "ParallelClusterImage-CREATE_IN_PROGRESS-2022-04-05T21:39:24.725Z",
 "physicalResourceId": "arn:aws:imagebuilder:us-east-1:123456789012:image/parallelclusterimage-IMAGE_ID/3.7.0/1",
 "resourceStatus": "CREATE_IN_PROGRESS",
 "resourceStatusReason": "Resource creation Initiated",
 "resourceProperties": "{\"InfrastructureConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:infrastructure-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"ImageRecipeArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/parallelclusterimage-IMAGE_ID/3.7.0\",\"DistributionConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:distribution-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"Tags\":{\"parallelcluster:image_name\":\"IMAGE_ID\",\"parallelcluster:image_id\":\"IMAGE_ID\"}}",
 "stackId": "arn:aws:cloudformation:us-east-1:123456789012:stack/IMAGE_ID/abcd1234-ef56-gh78-ij90-1234abcd5678",
 "stackName": "IMAGE_ID",
 "logicalResourceId": "ParallelClusterImage",
 "resourceType": "AWS::ImageBuilder::Image",
 "timestamp": "2022-04-05T21:39:24.725Z"
}

約 15 分後、Image Builder の作成に関連するログイベントエントリにスタックイベントが表示されます。pcluster list-image-log-streams コマンドや pcluster get-image-log-events コマンドを使用して、イメージログストリームの一覧表示および Image Builder のステップのモニタリングができるようになりました。

$ pcluster list-image-log-streams --image-id IMAGE_ID --region REGION \
    --query 'logStreams[*].logStreamName'

 "3.7.0/1"
]

$ pcluster get-image-log-events --image-id IMAGE_ID --region REGION \
--log-stream-name 3.7.0/1 --limit 3
{
 "nextToken": "f/36295977202298886557255241372854078762600452615936671762",
 "prevToken": "b/36295977196879805474012299949460899222346900769983430672",
 "events": [
   {
     "message": "ExecuteBash: FINISHED EXECUTION",
     "timestamp": "2022-04-05T22:13:26.633Z"
   },
   {
     "message": "Document arn:aws:imagebuilder:us-east-1:123456789012:component/parallelclusterimage-test-abcd1234-ef56-gh78-ij90-1234abcd5678/3.7.0/1",
     "timestamp": "2022-04-05T22:13:26.741Z"
   },
   {
     "message": "TOE has completed execution successfully",
     "timestamp": "2022-04-05T22:13:26.819Z"
   }
 ]
}

BUILD_COMPLETE のステータスが表示されるまで、describe-image コマンドで確認を続けます。

$ pcluster describe-image --image-id IMAGE_ID --region REGION
{
 "imageConfiguration": {
   "url": "https://parallelcluster-1234abcd5678efgh-v1-do-not-delete.s3.us-east-1.amazonaws.com/parallelcluster/3.7.0/images/IMAGE_ID-abcd1234efgh5678/configs/image-config.yaml?Signature=..."
 },
 "imageId": "IMAGE_ID",
 "imageBuildStatus": "BUILD_COMPLETE",
 "region": "us-east-1",
 "ec2AmiInfo": {
     "amiName": "IMAGE_ID 2022-04-05T21-39-24.020Z",
     "amiId": "ami-1234stuv5678wxyz",
     "description": "AWS ParallelCluster AMI for alinux2, kernel-4.14.238-182.422.amzn2.x86_64, lustre-2.10.8-5.amzn2.x86_64, efa-1.13.0-1.amzn2.x86_64, dcv-2021.1.10598-1.el7.x86_64, slurm-20-11-8-1",
     "state": "AVAILABLE",
     "tags": [
      {
        "value": "2021.3.11591-1.el7.x86_64",
        "key": "parallelcluster:dcv_version"
      },
      ...
     ],
   "architecture": "x86_64"
 },
 "version": "3.7.0"      
}

カスタムAMI作成の問題をトラブルシューティングする必要がある場合は、次のステップで説明されているように、イメージログのアーカイブを作成します。

--output パラメータに応じて、ログを Amazon S3 バケットまたはローカルファイルにアーカイブすることが可能です。

$ pcluster export-image-logs --image-id IMAGE_ID --region REGION \
--bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER
{
 "url": "https://BUCKET_NAME.s3.us-east-1.amazonaws.com/BUCKET-FOLDER/IMAGE_ID-logs-202209071136.tar.gz?AWSAccessKeyId=..."
}

$ pcluster export-image-logs --image-id IMAGE_ID \
--region REGION --bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER --output-file /tmp/archive.tar.gz
{
 "path": "/tmp/archive.tar.gz"
}

アーカイブには、Image Builder プロセスと AWS CloudFormation スタックイベントに関連する CloudWatch Logs Streams が含まれます。このコマンドの実行には数分かかることがあります。

カスタムの管理 AMIs

AWS ParallelCluster 3.0.0 以降、イメージライフサイクルを構築、モニタリング、管理CLIするための新しいコマンドセットが に追加されました。コマンドの詳細については、「pcluster commands」を参照してください。

の変更 AWS ParallelCluster AMI

この方法は、その上にカスタマイズを追加して、役 AWS ParallelCluster AMI人を変更する方法で構成されます。ベース AWS ParallelCluster AMIsは新しいリリースで更新されます。これらAMIsには、インストールおよび設定時に が機能 AWS ParallelCluster するために必要なすべてのコンポーネントがあります。これらのいずれかをベースとして開始できます。

キーポイント:

ステップ: