Konfigurasikan dan buat cluster pertama Anda

Konfigurasikan dan buat cluster dengan antarmuka baris AWS ParallelCluster perintah

Setelah Anda menginstal AWS ParallelCluster, selesaikan langkah-langkah konfigurasi berikut.

Verifikasi bahwa AWS Akun Anda memiliki peran yang mencakup izin yang diperlukan untuk menjalankan. pcluster CLI Untuk informasi selengkapnya, lihat AWS ParallelCluster contoh kebijakan pcluster pengguna.

Siapkan AWS kredensional Anda. Untuk informasi selengkapnya, lihat Mengonfigurasi AWS CLI dalam panduan AWS CLI pengguna.


$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

Wilayah AWS Tempat cluster diluncurkan harus memiliki setidaknya satu EC2 key pair Amazon. Untuk informasi selengkapnya, lihat pasangan kunci Amazon Elastic Compute Cloud di Panduan Pengguna Amazon Elastic Compute Cloud untuk Instans Linux.

Saat menggunakan antarmuka baris AWS ParallelCluster perintah (CLI), Anda hanya membayar AWS sumber daya yang dibuat saat Anda membuat atau memperbarui AWS ParallelCluster gambar dan cluster. Untuk informasi selengkapnya, lihat AWS Layanan yang digunakan oleh AWS ParallelCluster.

Konfigurasikan dan buat cluster pertama Anda

Buat cluster pertama Anda dengan menggunakan pcluster configure CLI perintah untuk memulai wizard yang meminta Anda untuk semua informasi yang diperlukan untuk mengkonfigurasi dan membuat cluster Anda. Rincian urutan berbeda saat menggunakan AWS Batch sebagai penjadwal dibandingkan dengan menggunakan Slurm.

Slurm


$  pcluster configure --config config-file.yaml

Dari daftar Wilayah AWS pengidentifikasi yang valid, pilih Wilayah AWS tempat yang Anda inginkan untuk menjalankan klaster Anda.

catatan

Daftar yang Wilayah AWS ditampilkan didasarkan pada partisi akun Anda, dan hanya mencakup Wilayah AWS yang diaktifkan untuk akun Anda. Untuk informasi selengkapnya tentang mengaktifkan Wilayah AWS akun Anda, lihat Mengelola Wilayah AWS di. Referensi Umum AWS Contoh yang ditampilkan adalah dari partisi AWS Global. Jika akun Anda ada di AWS GovCloud (US) partisi, hanya Wilayah AWS di partisi yang terdaftar (gov-us-east-1dangov-us-west-1). Demikian pula, jika akun Anda berada di partisi AWS China, hanya cn-north-1 dan cn-northwest-1 ditampilkan. Untuk daftar lengkap yang Wilayah AWS didukung oleh AWS ParallelCluster, lihatWilayah yang Didukung untuk AWS ParallelCluster.


Allowed values for Wilayah AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Wilayah AWS ID [ap-northeast-1]:

Key pair dipilih dari pasangan kunci yang terdaftar di Amazon Elastic Compute Cloud di bagian yang dipilih Wilayah AWS. Pilih key pair:


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Pilih penjadwal yang akan digunakan dengan cluster Anda.


Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

Pilih sistem operasi.


Allowed values for Operating System:
1. alinux2
2. ubuntu2204
3. ubuntu2004
4. rhel8
Operating System [alinux2]:

Pilih jenis instance node kepala:


Head node instance type [t2.micro]:

Pilih konfigurasi antrian. Catatan: Jenis instans tidak dapat ditentukan untuk beberapa sumber daya komputasi dalam antrean yang sama.


Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

Aktifkan EFA untuk menjalankan aplikasi yang memerlukan komunikasi antar-instans tingkat tinggi dalam skala tanpa AWS biaya tambahan:

Pilih jenis instance yang mendukung Elastic Fabric Adapter (EFA).
Aktifkan EFA.
Tentukan nama Grup Penempatan yang ada. Jika Anda membiarkannya kosong, AWS ParallelCluster buatlah satu untuk Anda.


Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Setelah langkah-langkah sebelumnya selesai, putuskan apakah akan menggunakan yang sudah ada VPC atau biarkan AWS ParallelCluster membuat VPC untuk Anda. Jika Anda tidak memiliki konfigurasi yang benarVPC, AWS ParallelCluster dapat membuat yang baru untuk Anda. Ini baik menempatkan node head dan compute di subnet publik yang sama, atau hanya node kepala di subnet publik dengan semua node komputasi dalam subnet pribadi. Jika Anda membiarkan AWS ParallelCluster membuatVPC, Anda harus memutuskan apakah semua node berada di subnet publik. Untuk informasi selengkapnya, lihat Konfigurasi jaringan.

Jika Anda mengonfigurasi klaster untuk menggunakan tipe instans yang memiliki beberapa antarmuka jaringan atau kartu jaringan, lihat Konfigurasi jaringan persyaratan jaringan tambahan.

Anda dapat mencapai kuota Anda untuk jumlah yang VPCs diizinkan dalam a Wilayah AWS. Kuota default adalah lima VPCs untuk a. Wilayah AWS Untuk informasi selengkapnya tentang kuota ini dan cara meminta peningkatan, lihat VPCdan subnet di VPCPanduan Pengguna Amazon.

penting

VPCsdibuat oleh AWS ParallelCluster jangan aktifkan VPC Flow Logs secara default. VPCFlow Logs memungkinkan Anda untuk menangkap informasi tentang lalu lintas IP yang pergi ke dan dari antarmuka jaringan di AndaVPCs. Untuk informasi selengkapnya, lihat Log VPC Aliran di Panduan VPC Pengguna Amazon.

Jika Anda membiarkan AWS ParallelCluster membuatVPC, pastikan Anda memutuskan apakah semua node akan berada di subnet publik.

catatan

Jika Anda memilih1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster buat NAT gateway yang menghasilkan biaya tambahan, bahkan jika Anda menentukan sumber daya tingkat gratis.


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Jika Anda tidak membuat yang baruVPC, Anda harus memilih yang sudah adaVPC.

Jika Anda memilih untuk AWS ParallelCluster membuatVPC, buat catatan VPC ID sehingga Anda dapat menggunakan AWS CLI untuk menghapusnya nanti.


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Setelah dipilih, putuskan apakah akan menggunakan subnet yang ada atau membuat yang baru. VPC


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

AWS Batch


$  pcluster configure --config config-file.yaml

Dari daftar Wilayah AWS pengidentifikasi yang valid, pilih Wilayah AWS tempat yang Anda inginkan untuk menjalankan klaster Anda.

catatan

Daftar yang Wilayah AWS ditampilkan didasarkan pada partisi akun Anda. Ini hanya mencakup Wilayah AWS yang diaktifkan untuk akun Anda. Untuk informasi selengkapnya tentang mengaktifkan Wilayah AWS akun Anda, lihat Mengelola Wilayah AWS di. Referensi Umum AWS Contoh yang ditampilkan adalah dari partisi AWS Global. Jika akun Anda ada di AWS GovCloud (US) partisi, hanya Wilayah AWS di partisi yang terdaftar (gov-us-east-1dangov-us-west-1). Demikian pula, jika akun Anda berada di partisi AWS China, hanya cn-north-1 dan cn-northwest-1 ditampilkan. Untuk daftar lengkap yang Wilayah AWS didukung oleh AWS ParallelCluster, lihatWilayah yang Didukung untuk AWS ParallelCluster.


Allowed values for Wilayah AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Wilayah AWS ID [us-east-1]:

Key pair dipilih dari pasangan kunci yang terdaftar dengan Amazon EC2 di yang dipilih Wilayah AWS. Pilih key pair:


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Pilih penjadwal yang akan digunakan dengan cluster Anda.


Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Kapan awsbatch dipilih sebagai penjadwal, alinux2 digunakan sebagai sistem operasi. Jenis instance head node dimasukkan:


Head node instance type [t2.micro]:

Pilih konfigurasi antrian. AWS Batch Penjadwal hanya berisi satu antrian. Ukuran maksimum cluster node komputasi dimasukkan. Ini diukur dalamvCPUs.


Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Putuskan apakah akan menggunakan yang ada VPCs atau biarkan AWS ParallelCluster buat VPCs untuk Anda. Jika Anda tidak memiliki konfigurasi yang benarVPC, AWS ParallelCluster dapat membuat yang baru. Ini baik menggunakan node head dan compute di subnet publik yang sama, atau hanya node kepala di subnet publik dengan semua node di subnet pribadi. Anda dapat mencapai kuota Anda pada jumlah yang VPCs diizinkan di suatu Wilayah. Jumlah default VPCs adalah lima. Untuk informasi selengkapnya tentang kuota ini dan cara meminta peningkatan, lihat VPCdan subnet di VPCPanduan Pengguna Amazon.

penting

Jika Anda membiarkan AWS ParallelCluster membuatVPC, pastikan Anda memutuskan apakah semua node akan berada di subnet publik.

catatan


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Jika Anda tidak membuat yang baruVPC, Anda harus memilih yang sudah adaVPC.

Jika Anda memilih untuk AWS ParallelCluster membuatVPC, buat catatan VPC ID sehingga Anda dapat menggunakan AWS CLI atau AWS Management Console menghapusnya nanti.


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

VPCSetelah dipilih, pastikan Anda memutuskan apakah akan menggunakan subnet yang ada atau membuat yang baru.


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Ketika Anda telah menyelesaikan langkah-langkah sebelumnya, sebuah cluster sederhana diluncurkan ke dalam file. VPC VPCMenggunakan subnet yang ada yang mendukung alamat IP publik. Tabel rute untuk subnet adalah0.0.0.0/0 => igw-xxxxxx. Perhatikan kondisi berikut:

Yang VPC harus memiliki DNS Resolution = yes danDNS Hostnames = yes.
Itu juga VPC harus memiliki DHCP opsi dengan benar domain-name untuk Wilayah AWS. Default DHCP Option Set sudah menentukan yang diperlukan AmazonProvidedDNS. Jika menentukan lebih dari satu server nama domain, lihat set DHCP opsi di Panduan VPC Pengguna Amazon. Saat menggunakan subnet pribadi, gunakan NAT gateway atau proxy internal untuk mengaktifkan akses web untuk node komputasi. Untuk informasi selengkapnya, lihat Konfigurasi jaringan.

Ketika semua pengaturan berisi nilai yang valid, Anda dapat meluncurkan cluster dengan menjalankan perintah create.


$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Ikuti kemajuan klaster:


$ pcluster describe-cluster --cluster-name test-cluster

atau


$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Setelah klaster mencapai "clusterStatus": "CREATE_COMPLETE" status, Anda dapat menghubungkannya dengan menggunakan pengaturan SSH klien normal Anda. Untuk informasi selengkapnya tentang menghubungkan ke EC2 instans Amazon, lihat Panduan EC2 Pengguna Amazon di Panduan EC2 Pengguna Amazon. Atau Anda dapat menghubungkan cluster melalui


$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Untuk menghapus cluster, jalankan perintah berikut.


$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Setelah cluster dihapus, Anda dapat menghapus sumber daya jaringan di VPC dengan menghapus tumpukan CloudFormation jaringan. Nama tumpukan dimulai dengan “parallelclusternetworking-” dan berisi waktu pembuatan dalam format "”. YYYYMMDDHHMMSS Anda dapat membuat daftar tumpukan menggunakan list-stacksperintah.


$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

Tumpukan dapat dihapus menggunakan delete-stackperintah.


$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

VPCYang pcluster configure menciptakan untuk Anda tidak dibuat di tumpukan CloudFormation jaringan. Anda dapat menghapusnya secara VPC manual di konsol atau dengan menggunakan file AWS CLI.


$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Memulai

Konfigurasikan dan buat cluster dengan AWS ParallelCluster UI