AWS ParallelCluster コマンドラインインターフェイスを使用してクラスターを設定および作成する - AWS ParallelCluster
最初のクラスターを設定して作成する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS ParallelCluster コマンドラインインターフェイスを使用してクラスターを設定および作成する

インストールしたら AWS ParallelCluster、以下の設定ステップを完了します。

AWS アカウントが、 pcluster の実行に必要なアクセス許可を含むロールを持っていることを確認しますCLI。詳細については、「 pcluster ユーザーポリシーの AWS ParallelCluster の例」を参照してください。

AWS 認証情報を設定します。詳細については、「AWS CLI ユーザーガイド」の「AWS CLIを設定する」を参照してください。

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

クラスターを起動 AWS リージョン する には、少なくとも 1 つの Amazon EC2キーペアが必要です。詳細については、「Linux インスタンス用 Amazon Elastic Compute Cloud ユーザーガイド」の「Amazon Elastic Compute Cloud のキーペア」を参照してください。

AWS ParallelCluster コマンドラインインターフェイス (CLI) を使用する場合、 AWS ParallelCluster イメージとクラスターを作成または更新するときに作成された AWS リソースに対してのみ料金が発生します。詳細については、「AWS ParallelCluster で使用されるサービス AWS」を参照してください。

最初のクラスターを設定して作成する

pcluster configure CLI コマンドを使用して最初のクラスターを作成し、クラスターの設定と作成に必要なすべての情報の入力を求めるウィザードを開始します。スケジューラ AWS Batch として を使用する場合と を使用する場合では、シーケンスの詳細が異なります。Slurm.

Slurm
$  pcluster configure --config config-file.yaml

有効な AWS リージョン 識別子のリストから、クラスターを実行する AWS リージョン を選択します。

注記

AWS リージョン 表示される のリストは、アカウントのパーティションに基づいており、アカウントで有効 AWS リージョン になっている のみが含まれます。アカウント AWS リージョン で を有効にする方法の詳細については、『』の「 の管理 AWS リージョン」を参照してくださいAWS 全般のリファレンス。示されている例は、 AWS グローバルパーティションからのものです。アカウントが AWS GovCloud (US) パーティションにある場合、そのパーティション AWS リージョン 内の のみが表示されます (gov-us-east-1 および gov-us-west-1）。同様に、アカウントが AWS 中国パーティションにある場合は、 cn-north-1と のみcn-northwest-1が表示されます。で AWS リージョン サポートされている の完全なリストについては AWS ParallelCluster、「」を参照してくださいAWS ParallelCluster のサポート対象リージョン。

Allowed values for AWS リージョン ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS リージョン ID [ap-northeast-1]:

キーペアは、選択した AWS リージョンで Amazon Elastic Compute Cloud に登録しているキーペアから選択します。キーペアを選択します。

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

クラスターで使用するスケジューラを選択します。

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

オペレーティングシステムを選択します。

Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:

ヘッドノードのインスタンスタイプを選択します。

Head node instance type [t2.micro]:

キューの構成を選択します。注意: 同一キュー内の複数のコンピューティングリソースに対してインスタンスタイプを指定することはできません。

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

EFA は、追加料金なしで、高レベルのインスタンス間通信を必要とするアプリケーションを大規模 AWS に実行できます。

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

前のステップが完了したら、既存の を使用するか、 VPC で VPC AWS ParallelCluster を作成するかを決定します。が適切に設定されていない場合はVPC、 で新しい AWS ParallelCluster を作成できます。ヘッダーノードとコンピューティングノードの両方を同じパブリックサブネット内に配置するか、ヘッドノードのみをパブリックサブネット内に配置し、すべてのコンピューティングノードをプライベートサブネット内に配置します。に AWS ParallelCluster を作成させる場合はVPC、すべてのノードをパブリックサブネットに配置するかどうかを決定する必要があります。詳細については、「ネットワークの設定」を参照してください。

複数のネットワークインターフェイスまたはネットワークカードを備えたインスタンスタイプを使用するようにクラスターを設定する場合、追加のネットワーク要件については「ネットワークの設定」を参照してください。

でVPCs許可されている の数のクォータに達する可能性があります AWS リージョン。のデフォルトのクォータは 5 VPCsです AWS リージョン。このクォータの詳細と引き上げをリクエストする方法については、「Amazon VPCユーザーガイド」の「 VPCとサブネット」を参照してください。

重要

VPCs によって作成された AWS ParallelCluster は、デフォルトでVPCフローログを有効にしません。 VPCフローログを使用すると、 のネットワークインターフェイスとの間で送受信される IP トラフィックに関する情報をキャプチャできますVPCs。詳細については、「Amazon VPCユーザーガイド」のVPC「フローログ」を参照してください。

に AWS ParallelCluster を作成させる場合はVPC、すべてのノードをパブリックサブネットに配置するかどうかを決定してください。

注記

を選択した場合1. Head node in a public subnet and compute fleet in a private subnet、 AWS ParallelCluster は、無料利用枠リソースを指定しても、追加コストが発生するNATゲートウェイを作成します。

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

新しい を作成しない場合はVPC、既存の を選択する必要がありますVPC。

で AWS ParallelCluster を作成する場合はVPC、 VPC ID を書き留めておき、 を使用して後で AWS CLI 削除できるようにします。

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC を選択したら、既存のサブネットを使用するか、新しいサブネットを作成するかを決定します。

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

有効な AWS リージョン 識別子のリストから、クラスターを実行する AWS リージョン を選択します。

注記

AWS リージョン 表示される のリストは、アカウントのパーティションに基づいています。これには AWS リージョン 、アカウントで有効になっている のみが含まれます。アカウント AWS リージョン で を有効にする方法の詳細については、『』の「 の管理 AWS リージョン」を参照してくださいAWS 全般のリファレンス。示されている例は、 AWS グローバルパーティションからのものです。アカウントが AWS GovCloud (US) パーティションにある場合、そのパーティション AWS リージョン 内の のみが表示されます (gov-us-east-1 および gov-us-west-1）。同様に、アカウントが AWS 中国パーティションにある場合、 cn-northwest-1 cn-north-1と のみが表示されます。で AWS リージョン サポートされている の完全なリストについては AWS ParallelCluster、「」を参照してくださいAWS ParallelCluster のサポート対象リージョン。

Allowed values for AWS リージョン ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS リージョン ID [us-east-1]:

キーペアは、選択した EC2で Amazon に登録されているキーペアから選択されます AWS リージョン。キーペアを選択します。

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

クラスターで使用するスケジューラを選択します。

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

awsbatch がスケジューラとして選択されている場合、alinux2 がオペレーティングシステムとして使用されます。ヘッドノードのインスタンスタイプが入力されます。

Head node instance type [t2.micro]:

キューの構成を選択します。スケ AWS Batch ジューラには 1 つのキューのみが含まれます。コンピューティングノードのクラスターの最大サイズを入力します。これは で測定されますvCPUs。

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

既存の を使用するか、 VPCs で VPCs AWS ParallelCluster を作成するかを決定します。が適切に設定されていない場合VPC、 AWS ParallelCluster は新しい を作成できます。同じパブリックサブネット内のヘッダーノードとコンピューティングノードの両方を使用するか、プライベートサブネット内のすべてのノードを持つパブリックサブネット内のヘッダーノードのみを使用します。リージョンでVPCs許可されている の数でクォータに達する可能性があります。のデフォルト数は 5 VPCsです。このクォータの詳細と引き上げをリクエストする方法については、「Amazon VPCユーザーガイド」の「 VPCとサブネット」を参照してください。

重要

VPCs によって作成された AWS ParallelCluster は、デフォルトでVPCフローログを有効にしません。 VPCフローログを使用すると、 のネットワークインターフェイスとの間で送受信される IP トラフィックに関する情報をキャプチャできますVPCs。詳細については、「Amazon VPCユーザーガイド」のVPC「フローログ」を参照してください。

に AWS ParallelCluster を作成させる場合はVPC、すべてのノードをパブリックサブネットに配置するかどうかを決定してください。

注記

を選択した場合1. Head node in a public subnet and compute fleet in a private subnet、 AWS ParallelCluster は、無料利用枠リソースを指定しても、追加コストが発生するNATゲートウェイを作成します。

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

新しい を作成しない場合はVPC、既存の を選択する必要がありますVPC。

で AWS ParallelCluster を作成する場合はVPC、VPCID を書き留めて、 AWS CLI または を使用して後で AWS Management Console 削除できるようにします。

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC を選択したら、既存のサブネットを使用するか、新しいサブネットを作成するかを決定してください。

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

前のステップを完了すると、シンプルなクラスターが で起動しますVPC。は、パブリック IP アドレスをサポートする既存のサブネットVPCを使用します。サブネットのルートテーブルは、0.0.0.0/0 => igw-xxxxxx です。以下の条件をご確認ください。

  • には DNS Resolution = yesと VPCが必要ですDNS Hostnames = yes。

  • には、 domain-nameに適した DHCPオプションもVPC必要です AWS リージョン。デフォルトのDHCPオプションセットでは、必要な が既に指定されています。AmazonProvidedDNS。 複数のドメインネームサーバーを指定する場合は、「Amazon VPC ユーザーガイド」のDHCP「オプションセット」を参照してください。プライベートサブネットを使用する場合は、NATゲートウェイまたは内部プロキシを使用して、コンピューティングノードのウェブアクセスを有効にします。詳細については、「ネットワークの設定」を参照してください。

すべての設定に有効な値が入力されたら、create コマンドを実行して、クラスターを起動することができます。

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

クラスターの進行状況に従います。

$ pcluster describe-cluster --cluster-name test-cluster

or 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

クラスターが "clusterStatus": "CREATE_COMPLETE"ステータスになったら、通常のSSHクライアント設定を使用してクラスターに接続できます。Amazon EC2インスタンスへの接続の詳細については、「Amazon EC2 ユーザーガイド」の「Amazon EC2 ユーザーガイド」を参照してください。または、次のようにクラスターに接続することもできます。

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

次のコマンドを実行して、クラスターを削除します。

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

クラスターが削除されたら、ネットワークスタックを削除VPCすることで、 の CloudFormation ネットワークリソースを削除できます。スタックの名前は「parallelclusternetworking-」で始まり、YYYYMMDDHHMMSS「」形式の作成時刻が含まれます。list-stacks コマンドでスタックを一覧表示できます。

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

スタックは、delete-stack コマンドで削除することができます。

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

VPC がユーザーに代わってpcluster configure作成する は、ネットワークスタックでは作成されません。 CloudFormation コンソールまたは を使用してVPC、手動で削除できます AWS CLI。

$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad