Konfigurasikan dan buat cluster pertama Anda

Konfigurasikan dan buat cluster dengan AWS ParallelCluster antarmuka baris perintah

Setelah Anda menginstal AWS ParallelCluster, selesaikan langkah-langkah konfigurasi berikut.

Verifikasi bahwa AWS Akun Anda memiliki peran yang mencakup izin yang diperlukan untuk menjalankan pcluster CLI. Untuk informasi selengkapnya, lihat AWS ParallelCluster contoh kebijakan pengguna pcluster.

Siapkan AWS kredensibilitas Anda. Untuk informasi selengkapnya, lihat Mengonfigurasi AWS CLI di panduan AWS CLI pengguna.


$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

Tempat Wilayah AWS peluncuran cluster harus memiliki setidaknya satu pasangan kunci Amazon EC2. Untuk informasi selengkapnya, lihat Pasangan kunci Amazon Elastic Compute Cloud di Panduan Pengguna Amazon Elastic Compute Cloud untuk Instans Linux.

Saat Anda menggunakan antarmuka AWS ParallelCluster baris perintah (CLI), Anda hanya membayar untuk AWS sumber daya yang dibuat saat Anda membuat atau memperbarui AWS ParallelCluster gambar dan cluster. Untuk informasi selengkapnya, lihat AWS layanan yang digunakan oleh AWS ParallelCluster.

Konfigurasikan dan buat cluster pertama Anda

Untuk membuat cluster pertama Anda, gunakan perintah pcluster configure CLI untuk memulai wizard yang meminta Anda untuk semua informasi yang diperlukan untuk mengonfigurasi dan membuat cluster Anda. Rincian urutan berbeda saat digunakan AWS Batch sebagai penjadwal dibandingkan dengan menggunakanSlurm.

Slurry


$  pcluster configure --config cluster-config.yaml

Dari daftar pengi Wilayah AWS dentifikasi yang valid, pilih Wilayah AWS tempat Anda ingin cluster Anda berjalan.

catatan

Daftar yang Wilayah AWS ditampilkan didasarkan pada partisi akun Anda, dan hanya mencakup Wilayah AWS yang diaktifkan untuk akun Anda. Untuk informasi selengkapnya tentang Wilayah AWS mengaktifkan akun Anda, lihat M engel Wilayah AWS ola di Referensi Umum AWS. Contoh yang ditampilkan adalah dari partisi AWS Global. Jika akun Anda ada di AWS GovCloud (US) partisi, hanya Wilayah AWS di partisi itu yang terdaftar (gov-us-east-1dangov-us-west-1). Demikian pula, jika akun Anda berada di partisi AWS China, hanya cn-north-1 dan cn-northwest-1 ditampilkan. Untuk daftar lengkap yang Wilayah AWS didukung oleh AWS ParallelCluster, lihatDidukung Wilayah AWS untuk AWS ParallelCluster.


Allowed values for Wilayah AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2
Wilayah AWS ID [ap-northeast-1]:

Pilih pasangan kunci dari yang terdaftar di Amazon Elastic Compute Cloud di pilihan: Wilayah AWS


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Pilih penjadwal untuk digunakan dengan cluster Anda.


Allowed values for Scheduler:
1. slurm
Scheduler [slurm]:

Pilih sistem operasi.


Allowed values for Operating System:
1. alinux2023
2. ubuntu2404
3. ubuntu2204
4. rhel8
5. rhel9
Operating System [alinux2023]:

Pilih jenis instance node kepala:


Head node instance type [t2.micro]:

Pilih konfigurasi antrian. Catatan: Jenis instans tidak dapat ditentukan untuk beberapa sumber daya komputasi dalam antrian yang sama.


Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:

Aktifkan EFA untuk menjalankan aplikasi yang memerlukan komunikasi antar instans tingkat tinggi dalam skala besar tanpa AWS biaya tambahan:

Pilih jenis instance yang mendukung Elastic Fabric Adapter (EFA).
Aktif kan EFA.
Tentukan nama Grup Penempatan yang ada. Jika Anda membiarkannya kosong, AWS ParallelCluster buat satu untuk Anda.


Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Setelah langkah sebelumnya selesai, putuskan apakah akan menggunakan VPC yang ada atau biarkan AWS ParallelCluster membuat VPC untuk Anda. Jika Anda tidak memiliki VPC yang dikonfigurasi dengan benar, AWS ParallelCluster dapat membuat yang baru untuk Anda. Ini menempatkan node kepala dan komputasi di subnet publik yang sama, atau hanya node kepala di subnet publik dengan semua node komputasi di subnet pribadi. Jika Anda membiarkan AWS ParallelCluster membuat VPC, Anda harus memutuskan apakah semua node berada di subnet publik. Untuk informasi selengkapnya, lihat Konfigurasi jaringan.

Jika Anda mengonfigurasi cluster untuk menggunakan jenis instans yang memiliki beberapa antarmuka jaringan atau kartu jaringan, lihat Konfigurasi jaringan persyaratan jaringan tambahan.

Dimungkinkan untuk mencapai kuota Anda untuk jumlah VPC yang diizinkan di a Wilayah AWS. Kuota default adalah lima VPC untuk a Wilayah AWS. Untuk informasi selengkapnya tentang kuota ini dan cara meminta kenaikan, lihat VPC dan subnet di Panduan Pengguna Amazon VPC.

penting

VPC yang dibuat oleh AWS ParallelCluster tidak mengaktifkan Log Aliran VPC secara default. Log Aliran VPC memungkinkan Anda menangkap informasi tentang lalu lintas IP yang menuju dan dari antarmuka jaringan di VPC Anda. Untuk informasi selengkapnya, lihat Log Alur VPC di Panduan Pengguna Amazon VPC.

Jika Anda mengi AWS ParallelCluster zinkan membuat VPC, pastikan Anda memutuskan apakah semua node akan berada di subnet publik.

catatan

Jika Anda memilih1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster buat gateway NAT yang menghasilkan biaya tambahan, bahkan jika Anda menentukan sumber daya tingkat gratis.


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Jika Anda tidak membuat VPC baru, Anda harus memilih VPC yang sudah ada.

Jika Anda memilih untuk AWS ParallelCluster membuat VPC, catat ID VPC sehingga Anda dapat menggunakannya AWS CLI untuk menghapusnya nanti.


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Setelah VPC dipilih, putuskan apakah akan menggunakan subnet yang ada atau membuat yang baru.


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

AWS Batch


$  pcluster configure --config cluster-config.yaml

Dari daftar pengi Wilayah AWS dentifikasi yang valid, pilih Wilayah AWS tempat Anda ingin cluster Anda berjalan.

catatan

Daftar yang Wilayah AWS ditampilkan didasarkan pada partisi akun Anda. Ini hanya termasuk Wilayah AWS yang diaktifkan untuk akun Anda. Untuk informasi selengkapnya tentang Wilayah AWS mengaktifkan akun Anda, lihat M engel Wilayah AWS ola di Referensi Umum AWS. Contoh yang ditampilkan adalah dari partisi AWS Global. Jika akun Anda ada di AWS GovCloud (US) partisi, hanya Wilayah AWS di partisi itu yang terdaftar (gov-us-east-1dangov-us-west-1). Demikian pula, jika akun Anda berada di partisi AWS China, hanya cn-north-1 dan cn-northwest-1 ditampilkan. Untuk daftar lengkap yang Wilayah AWS didukung oleh AWS ParallelCluster, lihatDidukung Wilayah AWS untuk AWS ParallelCluster.


Allowed values for Wilayah AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ap-southeast-3
9. ap-southeast-5
10. ap-southeast-7
11. ca-central-1
12. eu-central-1
13. eu-north-1
14. eu-south-1
15. eu-west-1
16. eu-west-2
17. eu-west-3
18. il-central-1
19. me-south-1
20. sa-east-1
21. us-east-1
22. us-east-2
23. us-west-1
24. us-west-2
Wilayah AWS ID [us-east-1]:

Pasangan kunci dipilih dari pasangan kunci yang terdaftar di Amazon EC2 di yang dipilih Wilayah AWS. Pilih pasangan kunci:


Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:

Pilih penjadwal untuk digunakan dengan cluster Anda.


Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Ketika awsbatch dipilih sebagai penjadwal, alinux2 digunakan sebagai sistem operasi. Jenis instance node kepala dimasukkan:


Head node instance type [t2.micro]:

Pilih konfigurasi antrian. Pen AWS Batch jadwal hanya berisi satu antrian. Ukuran maksimum cluster node komputasi dimasukkan. Ini diukur dalam vCPU.


Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Putuskan apakah akan menggunakan VPC yang ada atau biarkan AWS ParallelCluster membuat VPC untuk Anda. Jika Anda tidak memiliki VPC yang dikonfigurasi dengan benar, AWS ParallelCluster dapat membuat yang baru. Ini menggunakan node kepala dan komputasi di subnet publik yang sama, atau hanya node kepala di subnet publik dengan semua node di subnet pribadi. Dimungkinkan untuk mencapai kuota Anda pada jumlah VPC yang diizinkan di suatu Wilayah. Jumlah default VPC adalah lima. Untuk informasi selengkapnya tentang kuota ini dan cara meminta kenaikan, lihat VPC dan subnet di Panduan Pengguna Amazon VPC.

penting

Jika Anda mengi AWS ParallelCluster zinkan membuat VPC, pastikan Anda memutuskan apakah semua node akan berada di subnet publik.

catatan


Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Jika Anda tidak membuat VPC baru, Anda harus memilih VPC yang sudah ada.

Jika Anda memilih untuk AWS ParallelCluster membuat VPC, catat ID VPC sehingga Anda dapat menggunakan AWS CLI atau Konsol Manajemen AWS untuk menghapusnya nanti.


Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Setelah VPC dipilih, pastikan Anda memutuskan apakah akan menggunakan subnet yang ada atau membuat yang baru.


Automate Subnet creation? (y/n) [y]: y


Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Ketika Anda telah menyelesaikan langkah-langkah sebelumnya, cluster sederhana diluncurkan ke VPC. VPC menggunakan subnet yang ada yang mendukung alamat IP publik. Tabel rute untuk subnet adalah0.0.0.0/0 => igw-xxxxxx. Perhatikan kondisi berikut:

VPC harus memiliki DNS Resolution = yes danDNS Hostnames = yes.
VPC juga harus memiliki opsi DHCP dengan yang benar domain-name untuk. Wilayah AWS Set Opsi DHCP default sudah menentukan yang diperlukanAmazonProvidedDNS. Jika menentukan lebih dari satu server nama domain, lihat set opsi DHCP di Panduan Pengguna Amazon VPC. Saat menggunakan subnet pribadi, gunakan gateway NAT atau proxy internal untuk mengaktifkan akses web untuk node komputasi. Untuk informasi selengkapnya, lihat Konfigurasi jaringan.

Ketika semua pengaturan berisi nilai yang valid, Anda dapat meluncurkan cluster dengan menjalankan perintah create.


$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.16.1",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Ikuti kemajuan cluster:


$ pcluster describe-cluster --cluster-name test-cluster

atau


$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Setelah cluster mencapai "clusterStatus": "CREATE_COMPLETE" status, Anda dapat menyambungkannya dengan menggunakan pengaturan klien SSH normal Anda. Untuk informasi selengkapnya tentang menghubungkan ke instans Amazon EC2, lihat Panduan Pengguna Amazon EC2 di Panduan Pengguna Amazon EC2. Atau Anda dapat menghubungkan cluster melalui


$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Untuk menghapus cluster, jalankan perintah berikut.


$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Setelah cluster dihapus, Anda dapat menghapus sumber daya jaringan di VPC dengan menghapus tumpukan CloudFormation jaringan. Nama tumpukan dimulai dengan “parallelclusternetworking-” dan berisi waktu pembuatan dalam format “YYYYMMDDHHMMSS”. Anda dapat membuat daftar tumpukan menggunakan list-stacks perintah.


$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

Tumpukan dapat dihapus menggunakan delete-stack perintah.


$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

VPC yang dibuat pcluster mengkonfigurasi untuk Anda tidak dibuat di tumpukan CloudFormation jaringan. Anda dapat menghapus VPC itu secara manual di konsol atau dengan menggunakan. AWS CLI


$ aws --region us-east-1 Amazon EC2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Memulai

Konfigurasikan dan buat cluster dengan AWS ParallelCluster UI