AWS ParallelCluster 명령줄 인터페이스를 사용하여 클러스터 구성 및 생성 - AWS ParallelCluster
첫 번째 클러스터 구성 및 생성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS ParallelCluster 명령줄 인터페이스를 사용하여 클러스터 구성 및 생성

설치 후 다음 구성 단계를 AWS ParallelCluster완료합니다.

AWS 계정에 pcluster CLI를 실행하는 데 필요한 권한이 포함된 역할이 있는지 확인합니다. 자세한 내용은 AWS ParallelCluster 사용자 정책 예시 pcluster 단원을 참조하십시오.

AWS 자격 증명을 설정합니다. 자세한 내용은AWS CLI 사용 설명서의 AWS CLI구성을 참조하세요.

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

클러스터가 시작 AWS 리전 되는 에는 Amazon EC2 키 페어가 하나 이상 있어야 합니다. 자세한 내용은 Linux 인스턴스용 Amazon Elastic Compute Cloud 사용 설명서의 Amazon Elastic Compute Cloud 키 페어를 참조하세요.

AWS ParallelCluster 명령줄 인터페이스(CLI)를 사용하는 경우 AWS ParallelCluster 이미지 및 클러스터를 생성하거나 업데이트할 때 생성된 AWS 리소스에 대해서만 비용을 지불합니다. 자세한 내용은 AWS 에서 사용하는 서비스 AWS ParallelCluster 단원을 참조하십시오.

첫 번째 클러스터 구성 및 생성

pcluster configure CLI 명령을 사용하여 첫 번째 클러스터를 생성하여 클러스터를 구성하고 생성하는 데 필요한 모든 정보를 묻는 마법사를 시작합니다. 시퀀스의 세부 정보는를 스케줄러 AWS Batch 로 사용할 때와를 사용할 때 서로 다릅니다.Slurm.

Slurm
$  pcluster configure --config config-file.yaml

유효한 AWS 리전 식별자 목록에서 클러스터를 실행할 AWS 리전 를 선택합니다.

참고

AWS 리전 표시된 목록은 계정의 파티션을 기반으로 하며 계정에 대해 AWS 리전 활성화된 만 포함합니다. 계정 활성화에 AWS 리전 대한 자세한 내용은의 관리를 AWS 리전 참조하세요AWS 일반 참조. 표시된 예제는 AWS 글로벌 파티션의 예제입니다. 계정이 AWS GovCloud (US) 파티션에 있는 경우 해당 파티션 AWS 리전 에만 ( 및 )가 나열gov-us-east-1됩니다gov-us-west-1. 마찬가지로 계정이 AWS 중국 파티션에 있는 경우 cn-north-1 및 만 cn-northwest-1 표시됩니다. 에서 AWS 리전 지원하는 전체 목록은 섹션을 AWS ParallelCluster참조하세요에 지원되는 리전 AWS ParallelCluster.

Allowed values for AWS 리전 ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS 리전 ID [ap-northeast-1]:

키 페어는 선택한의 Amazon Elastic Compute Cloud에 등록된 키 페어에서 선택됩니다 AWS 리전. 키 페어 선택:

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

클러스터와 함께 사용할 스케줄러를 선택합니다.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

운영 체제를 선택합니다.

Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:

헤드 노드 인스턴스 유형 선택:

Head node instance type [t2.micro]:

대기열 구성을 선택합니다. 참고: 동일한 대기열에 있는 여러 컴퓨팅 리소스에 대해서는 인스턴스 유형을 지정할 수 없습니다.

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

EFA를 활성화하면 추가 비용 없이 대규모로 높은 수준의 인스턴스 간 통신이 필요한 애플리케이션을 실행할 AWS 수 있습니다.

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

이전 단계를 완료한 후 기존 VPC를 사용할지 아니면 VPC를 AWS ParallelCluster 생성할지 결정합니다. 적절하게 구성된 VPC가 없는 경우에서 새 Word를 AWS ParallelCluster 생성할 수 있습니다. 동일한 퍼블릭 서브넷의 헤드 및 컴퓨팅 노드를 모두 배치하거나 헤드 노드만 퍼블릿 서브넷에 배치하고 모든 컴퓨팅 노드는 프라비잇 서브넷에 둡니다. VPC를 AWS ParallelCluster 생성하도록 허용하는 경우 모든 노드가 퍼블릭 서브넷에 있는지 결정해야 합니다. 자세한 내용은 네트워크 구성 단원을 참조하십시오.

여러 네트워크 인터페이스 또는 네트워크 카드가 있는 인스턴스 유형을 사용하도록 클러스터를 구성하는 경우 추가 네트워킹 요구 사항은 네트워크 구성을 참조하세요.

에서 허용되는 VPCs 수에 대한 할당량에 도달할 수 있습니다 AWS 리전. 기본 할당량은 a에 대해 5VPCs입니다 AWS 리전. 이 할당량과 증가를 요청하는 방법에 대한 자세한 내용은 Amazon VPC 사용 설명서의 Word 및 서브넷을 참조하세요. VPC

중요

에서 생성한 VPCs는 기본적으로 VPC 흐름 로그를 활성화하지 AWS ParallelCluster 않습니다. VPC Flow Logs를 사용하면 VPCs의 네트워크 인터페이스에서 송수신되는 IP 트래픽에 대한 정보를 캡처할 수 있습니다. 자세한 내용은 Amazon VPC 사용 설명서의 Word 흐름 로그를 참조하세요. VPC

VPC를 AWS ParallelCluster 생성하도록 허용하는 경우 모든 노드가 퍼블릭 서브넷에 있는지 여부를 결정해야 합니다.

참고

를 선택하면 AWS ParallelCluster 는 프리 티어 리소스를 지정하더라도 추가 비용이 발생하는 NAT 게이트웨이를 1. Head node in a public subnet and compute fleet in a private subnet생성합니다.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

새 VPC를 생성하지 않는 경우 기존 VPC를 선택해야 합니다.

VPC를 AWS ParallelCluster 생성하도록 선택한 경우를 사용하여 나중에 삭제할 수 있도록 VPC ID AWS CLI 를 기록해 둡니다.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC를 선택한 후 기존 서브넷을 사용할지 아니면 새 서브넷을 생성할지 결정합니다.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
AWS Batch
$  pcluster configure --config config-file.yaml

유효한 AWS 리전 식별자 목록에서 클러스터를 실행할 AWS 리전 를 선택합니다.

참고

AWS 리전 표시된 목록은 계정의 파티션을 기반으로 합니다. 계정에 대해 활성화된 AWS 리전 만 포함됩니다. 계정 활성화에 AWS 리전 대한 자세한 내용은의 관리를 AWS 리전 참조하세요AWS 일반 참조. 표시된 예제는 AWS 글로벌 파티션의 예제입니다. 계정이 AWS GovCloud (US) 파티션에 있는 경우 해당 파티션 AWS 리전 에만 나열됩니다(gov-us-east-1 및 gov-us-west-1). 마찬가지로 계정이 AWS 중국 파티션에 있는 경우 cn-north-1 및 만 cn-northwest-1 표시됩니다. 에서 AWS 리전 지원하는 전체 목록은 섹션을 AWS ParallelCluster참조하세요에 지원되는 리전 AWS ParallelCluster.

Allowed values for AWS 리전 ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
AWS 리전 ID [us-east-1]:

키 페어는 선택한에서 Amazon EC2에 등록된 키 페어에서 선택됩니다 AWS 리전. 키 페어 선택:

Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

클러스터와 함께 사용할 스케줄러를 선택합니다.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

awsbatch을 스케줄러로 선택한 경우 alinux2가 운영 체제로 사용됩니다. 헤드 노드 인스턴스 유형이 입력됩니다.

Head node instance type [t2.micro]:

대기열 구성을 선택합니다. AWS Batch 스케줄러에는 단일 대기열만 포함됩니다. 컴퓨팅 노드 클러스터의 최대 크기가 입력됩니다. 이는 vCPUs로 측정됩니다.

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

기존 VPCs를 사용할지 아니면 VPCs를 AWS ParallelCluster 생성할지 결정합니다. 적절하게 구성된 VPC가 없는 경우는 새 Word를 생성할 AWS ParallelCluster 수 있습니다. 동일한 퍼블릭 서브넷의 헤드 및 컴퓨팅 노드를 모두 사용하거나 모든 노드가 프라이빗 서브넷에 있는 퍼블릭 서브넷의 헤드 노드만 사용합니다. 리전에서 허용되는 VPCs 수에 대한 할당량에 도달할 수 있습니다. 기본 VPCs 수는 5입니다. 이 할당량과 증가를 요청하는 방법에 대한 자세한 내용은 Amazon VPC 사용 설명서의 Word 및 서브넷을 참조하세요. VPC

중요

에서 생성한 VPCs는 기본적으로 VPC 흐름 로그를 활성화하지 AWS ParallelCluster 않습니다. VPC Flow Logs를 사용하면 VPCs의 네트워크 인터페이스에서 송수신되는 IP 트래픽에 대한 정보를 캡처할 수 있습니다. 자세한 내용은 Amazon VPC 사용 설명서의 Word 흐름 로그를 참조하세요. VPC

VPC를 AWS ParallelCluster 생성하도록 허용하는 경우 모든 노드가 퍼블릭 서브넷에 있는지 여부를 결정해야 합니다.

참고

를 선택하면 AWS ParallelCluster 는 프리 티어 리소스를 지정하더라도 추가 비용이 발생하는 NAT 게이트웨이를 1. Head node in a public subnet and compute fleet in a private subnet생성합니다.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

새 VPC를 생성하지 않는 경우 기존 VPC를 선택해야 합니다.

VPC를 AWS ParallelCluster 생성하도록 선택한 경우 AWS CLI 또는를 사용하여 나중에 AWS Management Console 삭제할 수 있도록 VPC ID를 기록해 둡니다.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPC를 선택한 후 기존 서브넷을 사용할지 아니면 새 서브넷을 생성할지 결정해야 합니다.

Automate Subnet creation? (y/n) [y]: y
Creating CloudFormation stack...
Do not leave the terminal until the process has finished

이전 단계를 완료하면 간단한 클러스터가 VPC로 시작됩니다. VPC는 퍼블릭 IP 주소를 지원하는 기존 서브넷을 사용합니다. 서브넷의 라우팅 테이블은 0.0.0.0/0 => igw-xxxxxx입니다. 다음 조건을 알아 두세요.

  • VPC에는 DNS Resolution = yes 및가 있어야 합니다DNS Hostnames = yes.

  • VPC에는에 domain-name 대해 올바른 DHCP 옵션도 있어야 합니다 AWS 리전. 기본 DHCP 옵션 세트는 이미를 지정합니다.AmazonProvidedDNS. 도메인 이름 서버를 두 개 이상 지정하는 경우 Amazon DHCP 사용 설명서의 Word 옵션 세트를 참조하세요. VPC 프라이빗 서브넷을 사용하는 경우 NAT 게이트웨이 또는 내부 프록시를 사용하여 컴퓨팅 노드에 대한 웹 액세스를 활성화합니다. 자세한 내용은 네트워크 구성 단원을 참조하십시오.

모든 설정에 올바른 값이 포함되면 생성 명령을 실행하여 클러스터를 시작할 수 있습니다.

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

클러스터 진행 상황 확인: 

$ pcluster describe-cluster --cluster-name test-cluster

or 

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

클러스터가 "clusterStatus": "CREATE_COMPLETE" 상태에 도달하면 일반 SSH 클라이언트 설정을 사용하여 클러스터에 연결할 수 있습니다. Amazon EC2 인스턴스 연결에 대한 자세한 내용은 Amazon EC2 사용 설명서의 Amazon EC2 사용 설명서를 참조하세요. 또는 다음을 통해 클러스터를 연결할 수 있습니다.

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

다음 명령을 실행하여 클러스터를 삭제합니다.

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

클러스터가 삭제된 후 Word 네트워킹 CloudFormation 스택을 삭제하여 VPC에서 네트워크 리소스를 삭제할 수 있습니다. 스택의 이름은 “parallelclusternetworking-”으로 시작하며 생성 시간을 “YYYYMMDDHHMMSS” 형식으로 포함합니다. list-stacks 명령을 사용하여 스택을 나열할 수 있습니다.

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

스택은 delete-stack 명령을 사용하여 삭제할 수 있습니다.

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

에서 pcluster configure 생성하는 VPC는 CloudFormation 네트워킹 스택에 생성되지 않습니다. 콘솔에서 또는를 사용하여 해당 VPC를 수동으로 삭제할 수 있습니다 AWS CLI.

$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad