AWS ParallelCluster dalam satu subnet tanpa akses internet - AWS ParallelCluster

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS ParallelCluster dalam satu subnet tanpa akses internet

Subnet tanpa akses internet tidak memungkinkan koneksi masuk atau keluar ke internet. AWS ParallelCluster Konfigurasi ini dapat membantu pelanggan yang bersangkutan dengan keamanan lebih meningkatkan keamanan sumber daya mereka. AWS ParallelCluster AWS ParallelCluster node dibangun dari AWS ParallelCluster AMIs yang mencakup semua perangkat lunak yang diperlukan untuk menjalankan cluster tanpa akses internet. Dengan cara ini, AWS ParallelCluster dapat membuat dan mengelola cluster dengan node yang tidak memiliki akses internet.

Di bagian ini, Anda belajar tentang cara mengkonfigurasi cluster. Anda juga belajar tentang keterbatasan dalam menjalankan cluster tanpa akses internet.

AWS ParallelCluster menggunakan satu subnet dan tidak ada internet

Mengkonfigurasi titik akhir VPC

Untuk memastikan berfungsinya cluster, node cluster harus dapat berinteraksi dengan sejumlah AWS Layanan.

Buat dan konfigurasikan VPCendpoint berikut sehingga node cluster dapat berinteraksi dengan AWS Layanan, tanpa akses internet:

Commercial and AWS GovCloud (US) partitions
Layanan Nama layanan Tipe

Amazon CloudWatch

com.amazonaws.region-id.log

Antarmuka

AWS CloudFormation

com.amazonaws.region-idcloudformation.

Antarmuka

Amazon EC2

com.amazonaws.region-id.ec2

Antarmuka

Amazon S3

com.amazonaws.region-id.s3

Gateway

Amazon DynamoDB

com.amazonaws.region-iddynamodb.

Gateway

AWS Secrets Manager**

com.amazonaws.region-id.secretsmanager

Antarmuka

China partition
Layanan Nama layanan Tipe

Amazon CloudWatch

com.amazonaws.region-id.log

Antarmuka

AWS CloudFormation

cn.com.amazonaws.region-idcloudformation.

Antarmuka

Amazon EC2

cn.com.amazonaws.region-id.ec2

Antarmuka

Amazon S3

com.amazonaws.region-id.s3

Gateway

Amazon DynamoDB

com.amazonaws.region-iddynamodb.

Gateway

AWS Secrets Manager**

com.amazonaws.region-id.secretsmanager

Antarmuka

** Titik akhir ini hanya diperlukan saat DirectoryServicediaktifkan, jika tidak maka opsional.

Semua contoh di dalam VPC harus memiliki kelompok keamanan yang tepat untuk berkomunikasi dengan titik akhir. Anda dapat melakukan ini dengan menambahkan grup keamanan ke AdditionalSecurityGroupsbawah HeadNodedan AdditionalSecurityGroupsdi bawah SlurmQueueskonfigurasi. Misalnya, jika VPC titik akhir dibuat tanpa secara eksplisit menentukan grup keamanan, grup keamanan default dikaitkan dengan titik akhir. Dengan menambahkan grup keamanan defaultAdditionalSecurityGroups, Anda mengaktifkan komunikasi antara cluster dan titik akhir.

catatan

Saat Anda menggunakan IAM kebijakan untuk membatasi akses ke VPC titik akhir, Anda harus menambahkan yang berikut ini ke titik akhir Amazon VPC S3:

PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: "*" Action: - "s3:PutObject" Resource: - !Sub "arn:${AWS::Partition}:s3:::cloudformation-waitcondition-${AWS::Region}/*"

Nonaktifkan Route 53 dan gunakan nama EC2 host Amazon

Saat membuat Slurm cluster, AWS ParallelCluster membuat zona host Route 53 pribadi yang digunakan untuk menyelesaikan nama host node komputasi kustom, seperti. {queue_name}-{st|dy}-{compute_resource}-{N} Karena Route 53 tidak mendukung VPC titik akhir, fitur ini harus dinonaktifkan. Selain itu, AWS ParallelCluster harus dikonfigurasi untuk menggunakan EC2 nama host Amazon default, sepertiip-1-2-3-4. Terapkan pengaturan berikut ke konfigurasi cluster Anda:

... Scheduling: ... SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true
Awas

Untuk cluster yang dibuat dengan SlurmSettings/Dns/DisableManagedDnsdan UseEc2Hostnamesdisetel ketrue, Slurm NodeNametidak diselesaikan olehDNS. Gunakan Slurm NodeHostNamesebagai gantinya.

catatan

Catatan ini tidak relevan dimulai dengan AWS ParallelCluster versi 3.3.0.

Untuk versi yang AWS ParallelCluster didukung sebelum 3.3.0:

UseEc2HostnamesKapan diatur ketrue, Slurm file konfigurasi diatur dengan epilog skrip AWS ParallelCluster prolog dan:

  • prologberjalan untuk menambahkan info node ke /etc/hosts node komputasi ketika setiap pekerjaan dialokasikan.

  • epilogberjalan untuk membersihkan konten yang ditulis olehprolog.

Untuk menambahkan kustom prolog atau epilog skrip, tambahkan masing-masing ke /opt/slurm/etc/pcluster/epilog.d/ folder /opt/slurm/etc/pcluster/prolog.d/ atau.

Konfigurasi cluster

Pelajari cara mengonfigurasi klaster Anda agar berjalan di subnet tanpa koneksi ke internet.

Konfigurasi untuk arsitektur ini memerlukan pengaturan berikut:

# Note that all values are only provided as examples ... HeadNode: ... Networking: SubnetId: subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints AdditionalSecurityGroups: - sg-abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints Scheduling: Scheduler: Slurm # Cluster in a subnet without internet access is supported only when the scheduler is Slurm. SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true SlurmQueues: - ... Networking: SubnetIds: - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached AdditionalSecurityGroups: - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints
  • SubnetId(s): Subnet tanpa akses internet.

    Untuk mengaktifkan komunikasi antara AWS ParallelCluster dan AWS Layanan, subnet harus memiliki VPC titik akhir yang terpasang. VPC Sebelum Anda membuat klaster, verifikasi bahwa auto-assign IPv4 alamat publik dinonaktifkan di subnet untuk memastikan bahwa pcluster perintah memiliki akses ke cluster.

  • AdditionalSecurityGroups: Grup keamanan yang memungkinkan komunikasi antara cluster dan VPC titik akhir.

    Opsional:

    • Jika VPC titik akhir dibuat tanpa secara eksplisit menentukan grup keamanan, grup keamanan default terkait. VPC Oleh karena itu, berikan grup keamanan default keAdditionalSecurityGroups.

    • Jika grup keamanan khusus digunakan saat membuat klaster dan/atau VPC titik akhir, tidak AdditionalSecurityGroups diperlukan selama grup keamanan khusus memungkinkan komunikasi antara cluster dan titik VPC akhir.

  • Scheduler: Penjadwal cluster.

    slurmadalah satu-satunya nilai yang valid. Hanya yang Slurm scheduler mendukung cluster di subnet tanpa akses internet.

  • SlurmSettings: The Slurm pengaturan.

    Lihat bagian sebelumnya Nonaktifkan Route53 dan gunakan nama host Amazon. EC2

Batasan

  • Menghubungkan ke node kepala di atas SSH atau AmazonDCV: Saat menghubungkan ke cluster, pastikan klien koneksi dapat mencapai node kepala cluster melalui alamat IP pribadinya. Jika klien tidak VPC sama dengan node kepala, gunakan instance proxy di subnet publik. VPC Persyaratan ini berlaku untuk keduanya SSH dan DCV koneksi. IP publik dari node kepala tidak dapat diakses jika subnet tidak memiliki akses internet. dcv-connectPerintah pcluster ssh dan menggunakan IP publik jika ada atau IP pribadi. Sebelum Anda membuat klaster, verifikasi bahwa auto-assign IPv4 alamat publik dinonaktifkan di subnet untuk memastikan bahwa pcluster perintah memiliki akses ke cluster.

    Contoh berikut menunjukkan bagaimana Anda dapat terhubung ke DCV sesi yang berjalan di node kepala cluster Anda. Anda terhubung melalui EC2 instance Amazon proxy. Instance berfungsi sebagai DCV server Amazon untuk PC Anda dan sebagai klien untuk node kepala di subnet pribadi.

    Connect over DCV melalui instance proxy di subnet publik:

    1. Buat EC2 instance Amazon di subnet publik, yang VPC sama dengan subnet cluster.

    2. Pastikan DCV klien dan server Amazon diinstal pada EC2 instans Amazon Anda.

    3. Lampirkan Kebijakan AWS ParallelCluster Pengguna ke EC2 instance Amazon proxy. Untuk informasi selengkapnya, lihat AWS ParallelCluster contoh kebijakan pcluster pengguna.

    4. Instal AWS ParallelCluster pada EC2 instance Amazon proxy.

    5. Connect DCV ke EC2 instance Amazon proxy.

    6. Gunakan pcluster dcv-connect perintah pada instance proxy untuk terhubung ke cluster di dalam subnet tanpa akses internet.

  • Berinteraksi dengan AWS layanan lain: Hanya layanan yang benar-benar diperlukan oleh AWS ParallelCluster tercantum di atas. Jika klaster Anda harus berinteraksi dengan layanan lain, buat VPC titik akhir yang sesuai.