Utilizzo di una soluzione personalizzata AMI per fornire maggiore flessibilità per la configurazione dei EMR cluster Amazon

Quando usi Amazon EMR 5.7.0 o versioni successive, puoi scegliere di specificare un Amazon Linux personalizzato AMI anziché Amazon Linux per AMI Amazon predefinito. EMR Una personalizzazione AMI è utile se vuoi fare quanto segue:

Una configurazione personalizzata AMI deve esistere nella stessa AWS regione in cui viene creato il cluster. Deve inoltre corrispondere all'architettura dell'EC2istanza. Ad esempio, un'istanza m5.xlarge ha un'architettura x86_64. Pertanto, per effettuare il provisioning di un m5.xlarge utilizzando un'architettura personalizzataAMI, la soluzione personalizzata AMI dovrebbe avere anche un'architettura x86_64. Allo stesso modo, per effettuare il provisioning di un'istanza m6g.xlarge, che ha un'architettura arm64, la tua soluzione personalizzata dovrebbe avere un'architettura arm64. AMI Per ulteriori informazioni sull'identificazione di un Linux AMI per il tuo tipo di istanza, consulta Find a Linux AMI in the Amazon EC2 User Guide.

Creazione di un Amazon Linux personalizzato AMI da un'istanza preconfigurata

I passaggi di base per preinstallare il software ed eseguire altre configurazioni per creare un Amazon Linux per Amazon AMI personalizzato EMR sono i seguenti:

Una volta creata l'immagine in base alla tua istanza personalizzata, puoi copiare tale immagine in una destinazione crittografata, come descritto in Creazione di un volume di dispositivo EBS root Amazon personalizzato AMI con un volume crittografato.

Tutorial: creazione di un'istanza AMI da un'istanza con software personalizzato installato

Come usare un servizio personalizzato AMI in un EMR cluster Amazon

Puoi utilizzare una soluzione personalizzata AMI per effettuare il provisioning di un EMR cluster Amazon in due modi:

È possibile utilizzare solo una delle due opzioni durante il provisioning di un EMR cluster e non è possibile modificarla una volta avviato il cluster.

Usa una singola personalizzazione AMI in un EMR cluster

Per specificare un AMI ID personalizzato quando crei un cluster, utilizza uno dei seguenti:

Usa più opzioni personalizzate AMIs in un EMR cluster Amazon

Per creare un cluster utilizzando più elementi personalizzatiAMIs, utilizza uno dei seguenti:

La console di AWS gestione attualmente non supporta la creazione di un cluster utilizzando più elementi personalizzatiAMIs.

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567
InstanceGroupType=TASK,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-456789

aws emr create-cluster --instance-groups 
InstanceGroupType=PRIMARY,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 
InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456
InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-234567

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-groups --cluster-id j-123456 --instance-groups InstanceGroupType=Task,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-345678

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-456789},{InstanceType=m6g.xlarge, CustomAmiId=ami-567890}']

aws emr create-cluster --instance-fleets 
InstanceFleetType=PRIMARY,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge, CustomAmiId=ami-123456}'] 
InstanceFleetType=CORE,TargetOnDemandCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

{
    "ClusterId": "j-123456",
    ...
}

aws emr add-instance-fleet --cluster-id j-123456 --instance-fleet 
InstanceFleetType=TASK,TargetSpotCapacity=1,InstanceTypeConfigs=['{InstanceType=m5.xlarge,CustomAmiId=ami-234567},{InstanceType=m6g.xlarge, CustomAmiId=ami-345678}']

Gestione degli aggiornamenti del repository dei AMI pacchetti

Al primo avvio, per impostazione predefinita, Amazon Linux si AMIs connette agli archivi di pacchetti per installare gli aggiornamenti di sicurezza prima dell'avvio di altri servizi. A seconda delle tue esigenze, puoi scegliere di disabilitare questi aggiornamenti quando ne specifichi uno personalizzato AMI per AmazonEMR. L'opzione per disabilitare questa funzionalità è disponibile solo quando utilizzi una funzionalità personalizzataAMI. Per impostazione predefinita, il kernel di Amazon Linux e altri pacchetti software che richiedono un riavvio non vengono aggiornati. Tieni presente che la configurazione di rete deve consentire l'HTTPSingresso HTTP e l'uscita verso i repository Amazon Linux in Amazon S3, altrimenti gli aggiornamenti di sicurezza non avranno esito positivo.

Con AWS Management Console, puoi selezionare l'opzione per disabilitare gli aggiornamenti quando scegli Personalizzato AMI.

Con AWS CLI, è possibile specificare --repo-upgrade-on-boot NONE insieme a --custom-ami-id quando si utilizza il create-cluster comando.

Con Amazon EMRAPI, puoi specificare NONE il RepoUpgradeOnBootparametro.

Creazione di un volume di dispositivo EBS root Amazon personalizzato AMI con un volume crittografato

Per crittografare il volume del dispositivo EBS root Amazon di Amazon Linux AMI per AmazonEMR, copia un'immagine istantanea da una destinazione non crittografata AMI a una destinazione crittografata. Per informazioni sulla creazione di EBS volumi crittografati, consulta Amazon EBS encryption nella Amazon EC2 User Guide. L'origine AMI per lo snapshot può essere Amazon Linux AMI di base oppure puoi copiare uno snapshot da un AMI derivato Amazon Linux di base AMI che hai personalizzato.

Puoi utilizzare un provider di chiavi esterno o una AWS KMS chiave per crittografare il volume root. EBS Il ruolo di servizio EMR utilizzato da Amazon (in genere quello predefinitoEMR_DefaultRole) deve essere consentito di crittografare e decrittografare il volume, come minimo, affinché Amazon possa EMR creare un cluster con. AMI Quando viene utilizzato AWS KMS come fornitore di chiavi, ciò significa che devono essere consentite le seguenti azioni:

Il modo più semplice per farlo consiste nell'aggiungere il ruolo come utente chiave, come descritto nel seguente tutorial. L'esempio seguente di istruzione per policy viene fornito qualora fosse necessario personalizzare le policy di ruolo.

{ 
"Version": "2012-10-17", 
"Statement": [ 
   { 
   "Sid": "EmrDiskEncryptionPolicy", 
   "Effect": "Allow", 
   "Action": [ 
      "kms:Encrypt", 
      "kms:Decrypt", 
      "kms:ReEncrypt*", 
      "kms:CreateGrant", 
      "kms:GenerateDataKeyWithoutPlaintext", 
      "kms:DescribeKey" 
      ], 
   "Resource": [ 
      "*" 
      ] 
   } 
] 
}                 
            

Tutorial: creazione di un volume personalizzato AMI con un dispositivo root crittografato utilizzando una KMS chiave

Il primo passaggio in questo esempio consiste nel trovare la chiave ARN di una KMS chiave o crearne una nuova. Per ulteriori informazioni sulla creazione di chiavi, consulta Creazione di chiavi nella Guida per gli sviluppatori di AWS Key Management Service . La procedura riportata di seguito illustra come aggiungere il ruolo di servizio EMR_DefaultRole come utente chiave alla policy chiavi. Annota il ARNvalore della chiave mentre la crei o la modifichi. Il ARN valore più alto viene utilizzato quando si crea ilAMI.

L'output del comando fornisce l'ID del file AMI creato, che è possibile specificare quando si crea un cluster. Per ulteriori informazioni, consulta Usa una singola personalizzazione AMI in un EMR cluster. È inoltre possibile scegliere di personalizzarlo AMI installando software ed eseguendo altre configurazioni. Per ulteriori informazioni, consulta Creazione di un Amazon Linux personalizzato AMI da un'istanza preconfigurata.

Best practice e considerazioni

Quando crei una personalizzazione AMI per AmazonEMR, considera quanto segue:

Per ulteriori informazioni, consulta Creare un Linux EBS supportato da Amazon AMI nella Amazon EC2 User Guide.