Menggunakan kustom AMI untuk memberikan lebih banyak fleksibilitas untuk konfigurasi EMR klaster Amazon

Saat Anda menggunakan Amazon EMR 5.7.0 atau yang lebih tinggi, Anda dapat memilih untuk menentukan Amazon Linux khusus, AMI bukan Amazon Linux default untuk AMI Amazon. EMR Kustom AMI berguna jika Anda ingin melakukan hal berikut:

Kustom AMI harus ada di AWS Wilayah yang sama tempat Anda membuat klaster. Itu juga harus cocok dengan arsitektur EC2 instance. Misalnya, instance m5.xlarge memiliki arsitektur x86_64. Oleh karena itu, untuk menyediakan m5.xlarge menggunakan kustomAMI, kustom Anda juga AMI harus memiliki arsitektur x86_64. Demikian pula, untuk menyediakan instance m6g.xlarge, yang memiliki arsitektur arm64, kustom AMI Anda harus memiliki arsitektur arm64. Untuk informasi selengkapnya tentang mengidentifikasi Linux AMI untuk jenis instans Anda, lihat Menemukan Linux AMI di Panduan EC2 Pengguna Amazon.

Membuat Amazon Linux khusus AMI dari instance yang telah dikonfigurasi sebelumnya

Langkah-langkah dasar untuk pra-instal perangkat lunak dan melakukan konfigurasi lain untuk membuat Amazon Linux khusus untuk AMI Amazon EMR adalah sebagai berikut:

Setelah Anda membuat citra berdasarkan instans khusus, Anda dapat menyalin citra tersebut ke target terenkripsi seperti yang dijelaskan dalam Membuat kustom AMI dengan volume perangkat EBS root Amazon terenkripsi.

Tutorial: Membuat AMI dari sebuah instance dengan perangkat lunak kustom diinstal

Cara menggunakan kustom AMI di EMR cluster Amazon

Anda dapat menggunakan kustom AMI untuk menyediakan EMR klaster Amazon dengan dua cara:

Anda hanya dapat menggunakan salah satu dari dua opsi saat menyediakan EMR klaster, dan Anda tidak dapat mengubahnya setelah cluster dimulai.

Gunakan satu kustom AMI dalam sebuah EMR cluster

Untuk menentukan AMI ID kustom saat Anda membuat klaster, gunakan salah satu dari berikut ini:

Menggunakan beberapa kustom AMIs di EMR kluster Amazon

Untuk membuat klaster menggunakan beberapa kustomAMIs, gunakan salah satu dari berikut ini:

Konsol AWS Manajemen saat ini tidak mendukung pembuatan klaster menggunakan beberapa kustomAMIs.

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567
InstanceGroupType=TASK,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-456789

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-groups --cluster-id j-123456 --instance-groups InstanceGroupType=Task,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-456789},{InstanceType=m6g.xlarge, CustomAmiId=ami-567890}']

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-fleet --cluster-id j-123456 --instance-fleet 
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

Mengelola AMI pembaruan repositori paket

Pada boot pertama, secara default, Amazon Linux AMIs terhubung ke repositori paket untuk menginstal pembaruan keamanan sebelum layanan lain dimulai. Bergantung pada kebutuhan Anda, Anda dapat memilih untuk menonaktifkan pembaruan ini saat Anda menentukan kustom AMI untuk AmazonEMR. Opsi untuk menonaktifkan fitur ini hanya tersedia saat Anda menggunakan kustomAMI. Secara default, pembaruan kernel Amazon Linux dan paket perangkat lunak lain yang mengharuskan boot ulang tidak diperbarui. Perhatikan bahwa konfigurasi jaringan Anda harus mengizinkan HTTP dan keluar ke HTTPS repositori Amazon Linux di Amazon S3, jika tidak pembaruan keamanan tidak akan berhasil.

Dengan AWS Management Console, Anda dapat memilih opsi untuk menonaktifkan pembaruan saat Anda memilih Kustom AMI.

Dengan AWS CLI, Anda dapat menentukan --repo-upgrade-on-boot NONE bersama dengan --custom-ami-id saat menggunakan create-cluster perintah.

Dengan Amazon EMRAPI, Anda dapat menentukan NONE RepoUpgradeOnBootparameternya.

Membuat kustom AMI dengan volume perangkat EBS root Amazon terenkripsi

Untuk mengenkripsi volume perangkat EBS root Amazon dari Amazon Linux AMI untuk AmazonEMR, salin gambar snapshot dari target yang tidak terenkripsi ke terenkripsiAMI. Untuk informasi tentang membuat EBS volume terenkripsi, lihat EBSenkripsi Amazon di EC2Panduan Pengguna Amazon. Sumber AMI untuk snapshot dapat menjadi basis Amazon LinuxAMI, atau Anda dapat menyalin snapshot dari AMI turunan dari dasar Amazon Linux AMI yang Anda kustomisasi.

Anda dapat menggunakan penyedia kunci eksternal atau AWS KMS kunci untuk mengenkripsi volume EBS root. Peran layanan yang EMR digunakan Amazon (biasanya defaultEMR_DefaultRole) harus diizinkan untuk mengenkripsi dan mendekripsi volume, setidaknya, EMR agar Amazon dapat membuat cluster dengan file. AMI Saat menggunakan AWS KMS sebagai penyedia kunci, ini berarti bahwa tindakan berikut harus diizinkan:

Cara termudah untuk melakukan ini adalah dengan menambahkan peran sebagai pengguna kunci seperti yang dijelaskan dalam tutorial berikut. Contoh pernyataan kebijakan berikut diberikan jika Anda perlu menyesuaikan kebijakan peran.

{ 
"Version": "2012-10-17", 
"Statement": [ 
   { 
   "Sid": "EmrDiskEncryptionPolicy", 
   "Effect": "Allow", 
   "Action": [ 
      "kms:Encrypt", 
      "kms:Decrypt", 
      "kms:ReEncrypt*", 
      "kms:CreateGrant", 
      "kms:GenerateDataKeyWithoutPlaintext", 
      "kms:DescribeKey" 
      ], 
   "Resource": [ 
      "*" 
      ] 
   } 
] 
}                 
            

Tutorial: Membuat kustom AMI dengan volume perangkat root terenkripsi menggunakan kunci KMS

Langkah pertama dalam contoh ini adalah menemukan KMS kunci atau membuat yang baru. ARN Untuk informasi selengkapnya tentang pembuatan kunci, lihat Membuat Kunci di AWS Key Management Service Panduan Developer. Prosedur berikut menunjukkan cara menambahkan peran layanan default, EMR_DefaultRole, sebagai pengguna kunci untuk kebijakan kunci. Tuliskan ARNnilai untuk kunci saat Anda membuat atau mengeditnya. Anda menggunakan yang ARN lebih tinggi, ketika Anda membuatAMI.

Output dari perintah menyediakan ID dari AMI yang Anda buat, yang dapat Anda tentukan saat Anda membuat cluster. Untuk informasi selengkapnya, lihat Gunakan satu kustom AMI dalam sebuah EMR cluster. Anda juga dapat memilih untuk menyesuaikan ini AMI dengan menginstal perangkat lunak dan melakukan konfigurasi lainnya. Untuk informasi selengkapnya, lihat Membuat Amazon Linux khusus AMI dari instance yang telah dikonfigurasi sebelumnya.

Praktik terbaik dan pertimbangan

Saat Anda membuat kustom AMI untuk AmazonEMR, pertimbangkan hal berikut:

Untuk informasi selengkapnya, lihat Membuat Linux yang EBS didukung Amazon AMI di Panduan EC2 Pengguna Amazon.